- 博客(19)
- 收藏
- 关注
RSS订阅
原创 python爬虫常见的一些面试题
1. 什么是爬虫网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。2. 什么是URLURL，即统一资源定位符，也就是我们说的网址，统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的 URL，它包含的信息指出文件的...
2020-04-01 23:00:55
934
原创 Task04
selenium爬取腾讯新闻from selenium import webdriverimport timeclass TXnews(object): def __init__(self): pass def drop_down(self): for x in range(1,21,2): time.sleep(0....
2020-04-27 20:22:43
109
原创 pytorch 任务七——手写数字识别
import torchfrom torch.autograd import *from torch import nn,optimfrom torch.utils.data import DataLoaderfrom torchvision import datasets,transformsclass Batch_Net(nn.Module): def __init...
2019-05-26 10:54:07
243
原创 pytorch 任务——PyTorch理解更多神经网络优化方法
1. 了解不同优化器2. 书写优化器代码3. Momentum4. 二维优化，随机梯度下降法进行优化实现5. Ada自适应梯度调节法6. RMSProp7. Adam8. PyTorch种优化器选择import torchimport torchvisionimport torchvision.transforms as transformimport torch.utils...
2019-05-23 20:36:13
254
1
原创 pytorch 任务五
1. 了解知道Dropout原理Dropout一种Regularization的方法，与L1、L2正则化和最大范式约束等方法互为补充。在训练的时候，dropout的实现方法是让神经元以超参数 p 的概率被激活或者被设置为0。在训练过程中，随机失活可以被认为是对完整的神经网络抽样出一些子集，每次基于输入数据只更新子网络的参数（然而，数量巨大的子网络们并不是相互独立的，因为它们都共享参数）...
2019-05-21 19:42:25
229
原创 pytorch 任务四--用PyTorch实现多层网络
1. 引入模块，读取数据2. 构建计算图（构建网络模型）3. 损失函数与优化器4. 开始训练模型5. 对训练的模型预测结果进行评估数据采用糖尿病分类数据集diabetes.csv。这是一个典型的分类问题数据，包含768个样本，每个样本的数据包含8个特征，分别代表受试者的不同身体指标，标签为0或1，代表是否患有糖尿病。数据集示意图如下：import torchimport torch...
2019-05-20 11:20:54
557
原创 pytorch任务三
pytorch实现逻辑回归一 、逻辑回归简单介绍1.1 逻辑回归原理1.2 损失函数二、代码实现2.1 导入相关库2.2 导入数据三 方法1：直接使用logistic regression（逻辑回归)定义+pytorch梯度计算3.1 初始化3.2 训练4 方法2：使用神经网络方法4.1 导入相关库4.2 定义模型4.3 训练一 、逻辑回归简单介绍逻辑回归虽然叫做回归...
2019-05-16 09:44:40
132
原创 Pytorch 任务二
1. numpy和pytorch实现梯度下降法 2. 设定初始值 3. 求取梯度 4. 在梯度方向上进行参数的更新 5. numpy和pytorch实现线性回归 6. pytorch实现一个简单的神经网络...
2019-05-14 15:38:47
112
原创 PyTorch的基本概念
1. 什么是Pytorch，为什么选择Pytroch？ PyTorch 是Torch7 团队开发的，从它的名字就可以看出，其与Torch 的不同之处在于PyTorch 使用了Python 作为开发语言。所谓“Python first”，同样说明它是一个以Python 优先的深度学习框架，不仅能够实现强大的GPU 加速，同时还支持动态神经网络，这是现在很多主流框架比如Tensorflow 等都...
2019-05-12 10:47:56
464
原创 爬虫集训任务四：实战大项目
4.1 Task7 实战大项目实战大项目：模拟登录丁香园，并抓取论坛页面所有的人员基本信息与回复帖子内容。丁香园论坛：http://www.dxy.cn/bbs/thread/626626#626626 。1.首先使用Selenium模拟登陆丁香园论坛。这里先模拟点击登陆按钮，然后模拟点击返回电脑登陆按钮，然后定位账号输入框和密码登录框，并输入相应的账户及密码。from selenium...
2019-04-13 23:20:21
303
原创 Python基础任务6
使用turtle库画小猪佩奇Turtle库是Python语言中一个很流行的绘制图像的函数库，想象一个小乌龟，在一个横轴为x、纵轴为y的坐标系原点，(0,0)位置开始，它根据一组函数指令的控制，在这个平面坐标系中移动，从而在它爬行的路径上绘制了图形。turtle绘图的基础知识：画布(canvas)画布就是turtle为我们展开用于绘图区域，我们可以设置它的大小和初始位置。设置画布大小...
2019-04-12 00:35:13
113
原创 爬虫任务三
3.1 Task5 安装selenium并学习安装selenium并学习。使用selenium模拟登陆163邮箱。163邮箱直通点：https://mail.163.com/ 。参考资料：https://blog.csdn.net/weixin_42937385/article/details/88150379from selenium import webdriverimport ...
2019-04-10 23:44:57
219
原创 Python基础任务5
1.filea.打开文件方式（读写两种方式）open() 函数open() 方法用于打开一个文件，并返回文件对象。写文件：with open('python.txt', 'w', encoding='utf8') as fp: fp.write(string)读文件：f = open('D:/python.txt', 'r')一般形式为：open(file, mode='...
2019-04-08 23:59:26
441
原创 爬虫任务二---提取丁香园论坛的回复内容
2.1 学习beautifulsoup学习beautifulsoup，并使用beautifulsoup提取内容。使用beautifulsoup提取丁香园论坛的回复内容。丁香园直通点：http://www.dxy.cn/bbs/thread/626626#626626 。参考资料：https://blog.csdn.net/wwq114/article/details/88085875im...
2019-04-08 16:42:09
296
原创 爬虫任务一
1.1 学习get与post请求学习get与post请求，尝试使用requests或者是urllib用get方法向https://www.baidu.com/发出一个请求，并将其返回结果输出。import urllib.requesturl = 'https://www.baidu.com/'response = urllib.request.urlopen(url)print(re...
2019-04-06 02:17:34
912
原创 python基础——任务4
函数关键字Python 定义函数使用 def 关键字，函数的定义Python 定义函数的一般格式如下：def 函数名（参数列表）: 函数体函数参数与作用域以下是调用函数时可使用的正式参数类型：1.必需参数必需参数须以正确的顺序传入函数，调用时的数量必须和声明时的一样。2.关键字参数关键字参数和函数调用关系紧密，函数调用使用关键字参数来确定传入的参数值。使用关键...
2019-04-05 00:04:39
242
原创 python基础——任务3
dict字典a. 定义Python字典是另一种可变容器模型，且可存储任意类型对象，如字符串、数字、元组等其他容器模型。b. 创建字典的每个键值对key=>value用冒号 : 分割，每个键值对之间用逗号 , 分割，整个字典包括在花括号 {} 中 ,格式如下所示dict = {'a': 1, 'b': 2, 'b': '3'}键一般是唯一的，如果重复最后的一个键值对会替换前...
2019-04-04 23:15:13
150
原创 python基础任务2
列表列表（list）是一种有序集合，可任意扩展，随时添加/删除元素。a. 标志方括号[ ]b. 基本操作(创建，append( )，pop( ) ,del( ), 拷贝）# 创建list = ['1','2','3']# append()list.append('4')# insertlist.insert(2,'5')# poplist.pop()list.pop(...
2019-04-02 15:58:19
99
原创 python基础任务1
环境搭建a) anaconda环境配置在sublime中找到首选项中的插件控制，点击，找到install Package，点击，搜索anaconda进行安装b) 解释器解释器即用来执行python文件的，常见包括：CPython、IPython、PyPy、Jython、IronPython等。python初体验a) print and inputname = input('请输入...
2019-04-01 09:45:40
139
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人