- 博客(6)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 python6--将豆瓣评分数据存入mysql数据库
随着爬取到的数据增多，原来使用的excel文件变得不那么方便。把获取到的数据存入数据库中则更加有利于后面的数据分析和数据查询。这次我将豆瓣对某部电视剧的用户评分数据爬取下来，并存入了mysql数据库中。而这过程中，mysql的配置需要进行一定的修改，这个之后写到再说！d===(￣▽￣*)b需要引入的包# coding : UFT-8 import requests import random imp
2016-10-31 01:20:36
904
原创 Python5--下载知乎关注者头像
这次这玩意折腾我了半天，终于成功了/(ㄒoㄒ)/~~。急需把中间遇到的问题详细记录下来宣泄一下在前面代码的基础上，想尝试将知乎上关注某话题的用户头像爬取下来。在参考了知乎大神们的回答之后，修改完善了自己的代码，终于可以运行成功了。相比较前面的内容，其实只多了一个offset概念（就是知乎用来加载后续用户头像的插件？每次加载20个，通过post传递）。其他就是requests,bs4的内容。但不得不说
2016-10-27 01:24:59
702
原创 Python4--登录知乎
这里是参考了博主登录知乎这篇文章。但是登录时遇到了一个问题，就是需要我输入验证码。可能博主写的时候不需要输入验证码，因此没有考虑到这个问题。最后参考了知乎大神验证码部分的代码，实现了登录功能。这里也使用了cookies来实现免登录。整个代码如下。import requests import random try: import cookielib except: import htt
2016-10-25 05:09:20
492
原创 Python3--翻页
在实现第一页内容和头像的获取后，想实现代码自动翻页获取后面内容。其原理就是找到下一页的链接，并且访问即可。主要是在第二个实例中加入部分代码 第二个实例 获取html内容 def get_info( url, data = None): header = { 'Accept': 'text/html,application/xhtml+xml,application/xml;
2016-10-25 04:51:02
2173
原创 Python2--糗百图片下载
在实现内容的爬取后，我想实现用户头像的下载。其实只需要在前一部分的代码中再加上关于图片url的链接即可。 第一个实例 图片url获取 def get_data(html ): final = [] **pictures = []**#存放图片url bs = BeautifulSoup(html, "html.parser") body = bs.body
2016-10-25 04:23:40
462
原创 Python1--糗事百科笑话爬取
写在开头刚刚入门Python，一切都是摸索阶段。把自己的问题记录下来避免之后再犯相同的错误。运气好或许还能帮助有缘人( ⊙o⊙ )Python入门Python的简单入门主要需要看两个文档：requests和bs4。链接如下： requests bs4爬虫实例学习在真正开始写自己的第一个爬虫的实例前，在网上看了其他许多大神的教程。这里是我第一个复制练习的例子： 大神教程 这是一个一周天气的信息
2016-10-25 02:56:33
436
nginx反向代理，日志中是404
2015-06-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人