迷雾总会解

​ 本作业来源于李宏毅机器学习作业说明，详情可看???? Homework 4 - Recurrent Neural Network(友情提示，可能需要翻墙)参考 李宏毅2020机器学习作业4-RNN：句子情感分类作业要求通过循环神经网络（Recurrent Neural Networks, RNN）对句子进行情感分类。给定一句句子，判断这句句子是正面还是负面的（正面标1，负面标0）用到的数据：链接：https://pan.baidu.com/s/1zfigNt2f1n4oTDRyeAZ

介绍torchvision是pytorch的一个图形库，它服务于PyTorch深度学习框架的，主要用来构建计算机视觉模型。torchvision.transforms主要是用于常见的一些图形变换。以下是torchvision的构成：torchvision.datasets: 一些加载数据的函数及常用的数据集接口；torchvision.models: 包含常用的模型结构（含预训练模型），例如AlexNet、VGG、ResNet等；torchvision.transforms: 常用的图片变换，例如

作业要求：由每天前9个小时的18个空气的影响因素（如：NO，CO，SO2，PM2.5等等）来预测第10个小时的PM2.5，train.csv是一年的数据，每个月取了20天，每天24小时用到的数据 ???? 点击下载,确保有train.csv和test.csv两个文件 现在开始跟着我一步步copy~~ 开始之前先导入需要的库：sys：该模块提供对解释器使用或维护的一些变量的访问，以及与解释器强烈交互的函数pandas：一个强大的分析结构化数据的工具集numpy： Python的一个扩展程序库，支

作业要求：根据收集来的资料，判断每个人其年收入是否高于50000美元，用Logistic regression和Generative model两种方法来实现

本作业来源于李宏毅机器学习作业说明，详情可看???? Homework 3 - Convolutional Neural Network(友情提示，可能需要翻墙)作业要求作业要求： 在收集来的资料中均是食物的照片，共有11类，Bread, Dairy product, Dessert, Egg, Fried food, Meat, Noodles/Pasta, Rice, Seafood, Soup, and Vegetable/Fruit.我们要创建一个CNN，用来实现食物的分类。我们可以借助

问题描述在Anaconda下准备下载东西的时候，出现了这样的报错：Solving environment: failedCondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://repo.anaconda.com/pkgs/r/noarch/repodata.json.bz2>Elapsed: -An HTTP error occurred when trying to retrieve this URL.HTTP

介绍Pandas 是 Python 的核心数据分析支持库，提供了快速、灵活、明确的数据结构，旨在简单、直观地处理关系型、标记型数据。Pandas 的目标是成为 Python 数据分析实践与实战的必备高级工具，其长远目标是成为最强大、最灵活、可以支持任何语言的开源数据分析工具。经过多年不懈的努力，Pandas 离这个目标已经越来越近了。Pandas 适用于处理以下类型的数据：与 SQL 或 Excel 表类似的，含异构列的表格数据;有序和无序（非固定频率）的时间序列数据;带行列标签的矩阵数据，

介绍NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。NumPy 的前身 Numeric 最早是由 Jim Hugunin 与其它协作者共同开发，2005 年，Travis Oliphant 在 Numeric 中结合了另一个同性质的程序库 Numarray 的特色，并加入了其它扩展而开发了 NumPy。NumPy 为开放源代码并且由许多协作者共同维护开发。NumPy 是一个运行速度非常快的数

介绍Matplotlib 是一个 Python 的 2D绘图库，它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形 [1] 。通过 Matplotlib，开发者可以仅需要几行代码，便可以生成绘图，直方图，功率谱，条形图，错误图，散点图等案例from matplotlib import pyplotpyplot.figure()pyplot.plot([1, 0, 9], [4, 5, 6])pyplot.show()三层结构容器层： 主要由Canvas、Figure、A

介绍Jupyter Notebook是一个开源的Web应用程序，允许用户创建和共享包含代码、方程式、可视化和文本的文档。它的用途包括：数据清理和转换、数值模拟、统计建模、数据可视化、机器学习等等。名字源于Julia,Python,和R(数据科学的三种开源语言)是一款程序员和工作者的编程/文档/展示软件.ipynb文件格式是用于计算型叙述的JSON文档格式的正式规范优势可选择语言：支持超过40种编程语言，包括Python、R、Julia、Scala等。分享笔记本：可以使用电子邮件、Dropbox

User-Agent识别修改请求头信息里的User-Agent请求头信息识别比如说referer, content-type,请求方法（POST, GET）构造相应的请求头信息。比如说referer，我们在提取URL的时候，要把URL所在页面的URL也存储起来，并放到request.headers。异步加载我们需要分析页面的网络请求，从中找出和我们想要的数据相关的请求，并分析它的请求头信息、参数、cookie，然后根据这些信息构造我们的请求。通常来说都是ajax请求，也有图片请求，比如图片的la

文档  ???? 官方文档安装docker pull scrapinghub/splashdocker run -it -d -p 8050:8050 --rm scrapinghub/splash使用在浏览器输入ip+host，并请求京东可以看到输入http://localhost:8050/render.html?url=https://search.jd.com/Search?keyword=%E5%B0%8F%E7%B1%B310&enc=utf-8&a

selenium简单使用from selenium import webdriverdriver = webdriver.Chrome()driver.get("http://baidu.com") 进行关键字搜素kw = driver.find_element_by_id("kw")kw.send_keys("Python")su = driver.get_element_by_id("su")su.click()  获取标题h3_list = driver.find_ele

创建项目scrapy startproject xpc创建requirements.txt 在xpc目录下创建requirements.txt文件scrapyredisrequestspymysql 创建完成后，输入以下导入模块pip install -r requirement.txt初始化爬虫scrapy genspider discovery xinpianchang.com爬取逻辑import scrapyfrom scrapy import Request

介绍 扩展框架提供一个机制，使得你能将自定义功能绑定到Scrapy。 扩展只是正常的类，它们在Scrapy启动时被实例化、初始化。 扩展一般分为三种状态：可用的（Available）、开启的（enabled）和禁用的（disabled）。一些扩展经常需要依赖一些特别的配置，比如HTTP Cache扩展是可用的但默认是禁用的,除非设置了HTTPCACHE_ENABLED配置项。通过将其顺序设置为None，即可禁用。telnet 在cmd中telnet 127.0.0.1 6023 此时会让你输

process_request在request对象传往downloader的过程中调用。当返回不同类型的值的时候，行为也不一样：返回值行为None一切正常，继续执行其他的中间件链Response停止调用其他process_request和process_exception函数，也不再继续下载该请求，然后走调用process_response的流程Request不再继续调用其他process_request函数，交由调度器重新安排下载。IgnoreRequest

主要代码import scrapyfrom items import UniversityItemclass QianmuNewSpider(scrapy.Spider): name = 'qianmu_new' # 允许爬的域名内的url,比如qianmu.org,那么www.qianmu,org,mall.qianmu.org都能爬 allowed_domains = ['qianmu.org'] # 爬虫的入口地址，可以多些几个 start_urls

scrapy的安装和简单实用安装  ???? https://blog.csdn.net/qq_44766883/article/details/107790504基本使用import scrapyclass QuoteSpider(scrapy.Spider): name = "quote" start_urls = ["http://quotes.toscrape.com/"] def parse(self, response): # q

普通版本(借用队列)import requestsfrom lxml import etreeimport osfrom queue import Queueimport threadingimport timestart_url = "http://www.qianmu.org/ranking/1528.htm"link_queue = Queue()threads_num = 10threads = []download_pages = 0def fetch(url):

requests+bs4from urllib.parse import urlparseimport osimport requestsfrom bs4 import BeautifulSoupua = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"headers = {"User-Agent": ua

xpath语法表达式描述nodename选取此节点的所有子节点。/从根节点选取。//从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。.选取当前节点。…选取当前节点的父节点。@选取属性。following-sibling::span[1]附近的节点lxml使用from bs4 import BeautifulSoupfrom lxml import etreeimport doc_htmlsoup = Beaut

简单使用from bs4 import BeautifulSoupimport doc_htmlsoup = BeautifulSoup(doc_html.html_doc, "html.parser")# input标签print("-----input-----")print(soup.input.attrs)print(soup.input.attrs['style'])print(soup.input.has_attr('type'))# p标签print("-----p-

get,post和带参数请求import requests# get请求res = requests.get("http://httpbin.org/get")print(res.status_code, res.reason)print(res.text)# 带参数的get请求res = requests.get("http://httpbin.org/get", params={"a": 1, "b": "2"})print(res.json())# post请求res = r

get请求import urllib.requestimport jsonres = urllib.request.urlopen("http://httpbin.org/get")# 读取response的内容text = res.read()# http返回状态码print(res.status, res.reason)obj = json.loads(text)print(obj)for k, v in res.headers._headers: print(f"({k

UDP服务端import socketserver = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)server.bind(("127.0.0.1", 50000))while True: data, addr = server.recvfrom(1024) print(f"接收到{addr}的数据：{data.decode()}") server.sendto(data.decode().upper().encode

 收发收发文件与远程执行命令的程序原理是一摸一样的，比如下载文件的过程：服务端import socketimport osserver = socket.socket(socket.AF_INET, socket.SOCK_STREAM)server.bind(("127.0.0.1", 50000))server.listen(2)count = 0while True: conn, client_addr = server.accept() count += 1 .

服务端import socketimport subprocess # 使用指令import jsonserver = socket.socket(socket.AF_INET, socket.SOCK_STREAM)server.bind(("127.0.0.1", 50000))server.listen(2)count = 0while True: conn, client_addr = server.accept() count+=1 print(f"[

建立基础服务端和客户端服务端import sockets = socket.socket(socket.AF_INET, socket.SOCK_STREAM)s.bind(("127.0.0.1", 50000))s.listen(2) # 允许挂起多少个连接client_conn, client_addr = s.accept()print(client_conn, client_addr)client_conn.send("大爷，您竟来了！！！".encode())data =

引子 我们已经知道，假设我现在要写一个程序，给另一台计算机发数据，必须通过tcp/ip协议 ，但具体的实现过程是什么呢？我应该怎么操作才能把数据封装成tcp/ip的包，又执行什么指令才能把数据发到对端机器上呢? 不能只有世界观，没有方法论呀。。。此时，socket隆重登场，简而言之，socket这个东东干的事情，就是帮你把tcp/ip协议层的各种数据封装啦、数据发送、接收等通过代码已经给你封装好了，你只需要调用几行代码，就可以给别的机器发消息了。Socket介绍什么是socket? Socket是应

 assert语法用于判断代码是否符合执行预期def test_asset(name, age): assert type(name) is str assert type(age) is int print(name, age)test_asset("黑子", 15)print("-----------------")test_asset(15, "黑子") 输出...

捕获异常 在编程过程中为了增加友好性，在程序出现bug时一般不会将错误信息显示给用户让用户蒙逼，而是显示一个更友好的提示信息。while True: try: num1 = int(input("n1>")) num2 = int(input("n2>")) res = num1+num2 print("result：", res, name) except ValueError as e: p

class Person: def __init__(self, name, age): self.name = name self.age = ageperson = Person("小贵", 25)print(type(person))print(type(Person)) 输出<class '__main__.Person'><class 'type'> 上述代码中，person 是通过 Person 类实例化的对象

len方法class Person: def __init__(self, name, age): self.name = name self.age = age def __len__(self): return 5 person = Person("小贵", 25)print(len(person)) 输出5hash方法class Person: def __init__(self, na

动态加载模块__import__("test_name")__import__("basicGrammar.module.my_module")--------import importlibimportlib.import_module("test_name")importlib.import_module("basicGrammar.module.my_module") 输出test_namehello alex

反射介绍 反射的概念是由Smith在1982年首次提出的，主要是指程序可以访问、检测和修改它本身状态或行为的一种能力（自省）。这一概念的提出很快引发了计算机科学领域关于应用反射性的研究。它首先被程序语言的设计领域所采用,并在Lisp和面向对象方面取得了成绩。 python面向对象中的反射**：通过字符串的形式操作对象相关的属性。**python中的一切事物都是对象（都可以使用反射） 四个可以实现自省的函数 下列方法适用于类和对象（一切皆对象，类本身也是一个对象）def hasattr(*args

类方法 类方法通过@classmethod装饰器实现，类方法和普通方法的区别是， 类方法只能访问类变量，不能访问实例变量class Dog: name = "狗爷" # 类方法 @classmethod def eat2(cls): print("dog %s is eating..." % cls.name) Dog.eat2()dog.eat2() 输出dog 狗爷 is eating...dog 狗爷 is eatin

介绍 封装可以被认为是一个保护屏障，防止该类的代码和数据被外部类定义的代码随机访问。 要访问该类的代码和数据，必须通过严格的接口控制。 封装最主要的功能在于我们能修改自己的实现代码，而不用修改那些调用我们代码的程序片段。 适当的封装可以让程式码更容易理解与维护，也加强了代码数据的安全性。封装的优点良好的封装能够减少耦合。类内部的结构可以自由修改。可以对成员变量进行更精确的控制。隐藏信息，实现细节。封装原则将不需要对外提供的内容都隐藏起来；把属性都隐藏，提供公共方法对其访问

介绍 比较官方的说法就是： 继承（英语：inheritance）是面向对象软件技术当中的一个概念。如果一个类别A“继承自”另一个类别B， 就把这个A称为“B的子类别”，而把B称为“A的父类别”也可以称“B是A的超类”。 继承可以使得子类别具有父类别的各种属性和方法，而不需要再次编写相同的代码。 在令子类别继承父类别的同时，可以重新定义某些属性，并重写某些方法， 即覆盖父类别的原有属性和方法，使其获得与父类别不同的功能。另外，为子类别追加新的属性和方法也是常见的做法。 一般静态的面向对象编程语言，

类的定义class Dog: # 类名首字母要大写，驼峰体 d_type = "京巴" # 公共属性，又称类变量 def say_hi(self): # 类的方法，必须带一个self参数，代表实例本身，具体先不解释 print("hello , I am a dog,my type is ",self.d_type) # 想调用类里的属性，都要加上self., 原因先不表 d = Dog() # 生成一个狗的实例d2 = Dog()

编程范式 编程是 程序 员 用特定的语法+数据结构+算法组成的代码来告诉计算机如何执行任务的过程 ， 一个程序是程序员为了得到一个任务结果而编写的一组指令的集合，正所谓条条大路通罗马，实现一个任务的方式有很多种不同的方式， 对这些不同的编程方式的特点进行归纳总结出来的编程方式类别，即为编程范式。 不同的编程范式本质上代表对各种类型的任务采取的不同的解决问题的思路， 大多数语言只支持一种编程范式，当然也有些语言可以同时支持多种编程范式。 两种最重要的编程范式分别是面向过程编程和面向对象编程。面向过程编程(