- 博客(9)
- 收藏
- 关注
RSS订阅原创 Requests-HTML爬虫简单了解
Requests-HTML是在Requests的基础上进一步封装，两者都是由同一个开发者开发。Requests-HTML除了包含Requests的所有功能外，还新增了数据清洗和Ajax数据动态渲染。数据清洗时是由lxml和PyQuery提供的。数据清洗from requests_html import HTMLSessionsession = HTMLSession()url = "h...
2019-09-27 17:28:54
243
原创 爬虫库Urllib
urllib.request.urlopenresponse = urllib.request.urlopen("https://movie.douban.com/",None,2)html = response.read().decode("utf-8") # decode:从byte到str。 encode：从str到byte# print(html)with open("ht...
2019-09-25 17:49:43
239
1
原创 小白初学爬虫开发基础
本博客内容来自所看图书《实战python网络爬虫（黄永祥著）》，摘取原因主要是方便自己理解。爬虫开发基础HTTP与HTTPSHTTP（Hyper Text Transfer Protocol，超文本传输协议）是一个客户端和服务器端请求和应答的标准（TCP）。客户端是终端用户，服务器端是网站。通过使用Web浏览器、网络爬虫或者其他工具，客户端发起一个到服务器上指定端口（默认端口为80）的HTT...
2019-09-25 14:46:41
226
原创 迁移学习小记
迁移学习——迁移什么东东在预训练模型中存在各种特征数据与权重信息，有些是与分类识别的对象本身关联比较紧密的特征数据与权重信息，有些是一些比较共性的特征数据与信息，是可以被不同的任务或者对象之间共享的。迁移学习就是要迁移那些共性特征数据与信息，从而避免再次学习这些知识，实现快速学习。简单点说迁移学习主要是实现卷积层共性特征迁移。迁移学习的状况一般的迁移学习是这样的：训练好一个网络（我们称它为...
2019-09-23 15:28:44
194
原创 爬虫之UnicodeEncodeError: 'latin-1' codec
今天在爬虫的时候碰到了这样的问题，应该是头文件里面出现了汉字，由于不懂具体原因，我就把它删去了，如果有小伙伴懂的话，请告诉我一下。UnicodeEncodeError: 'latin-1' codec can't encode characters in position 0-6: ordinal not in range(256)对应的头文件如下：headers = { "A...
2019-09-20 17:16:40
1873
转载 爬虫之content/text
requests对象的get和post方法都会返回一个Response对象，这个对象里面存的是服务器返回的所有信息，包括响应头，响应状态码等。其中返回的网页部分会存在.content和.text两个对象中。.content中间存的是字节码 .text存的是.content编码后的字符串一般来说 .text直接用比较方便 返回的是字符串 但是有时候会解析不正常导致返回的是一堆乱码这时用.con...
2019-09-20 14:43:39
587
原创 pytorch迁移学习自己的理解
在学习深度学习的过程中，迁移学习到现在还是理解的不太好，为此，把想到的写下来，无论正确与否，和大家有个交流，促进学习。1.trained_model=resnet18(pretrained=True) # 此时是一个非常好的modelmodel = nn.Sequential(*list(trained_model.children())[:-1],Flatten(),nn.Linear(...
2019-09-12 11:22:53
236
原创 谷歌云盘colab深度学习遇到的问题
在代码里面写文件路径的时候，应该这样写： /content/drive/“你自己的文件夹的名字”之前没有这样写报错 ：没有这个路径谷歌这个免费的平台用起来确实略麻烦，不过谁叫自己买不起显卡呢！后面用的时候又发现了一个问题，就是import 其他自己写的文件模块，提示没有这个模块，折腾了两天，应该是解决了，但是后面我还是把几个文件写成一个文件，虽然长一点，但是不用每个文件都要挂载一遍...
2019-09-12 08:54:20
805
4
原创 自学pytorch深度学习遇到的坑之模型加载出错
当保存了神经网络模型后，进行训练加载模型的时候一直出错，代码如下：model = model.load_state_dict(torch.load(path))运行结果如下，出现：Error(s) in loading state_dict for ResNet18出现这样的问题，应该是版本的原因，这样的语句现在新的版本好像不支持了（如果有朋友知道具体的原因，欢迎留言指正哈……）这...
2019-09-09 09:10:02
2461
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人