爬虫
文章平均质量分 74
Leo_Huang720
学无止境
展开
-
Selenium和ChromeDriver安装
Selenium安装ChromeDriver安装测试Selenium安装输入下列命令即可 ChromeDriver安装ChromeDriver官网地址 http://chromedriver.chromium.org/ (如果打不开网址记得用蓝*灯*科学上网) 点进去的官网界面是这样的,然后点击Latest Release后面那个Chro...原创 2018-07-24 19:57:27 · 988 阅读 · 0 评论 -
Robomongo的安装和配置
1.下载下载网址:https://robomongo.org/download我是下载右边的Robo3T,就不用填写个人信息了。 下载好后是这样子,点击安装2.注册MongoDB的管理员账号在等待下载的过程中,你会回到安装mongoDB的文件夹,在它的bin文件夹里,按住Shift键,同时鼠标右键,点击“在此处打开命令窗口”,然后输入下图的命令 user和pwd是你自己账号...原创 2018-07-26 11:30:56 · 4083 阅读 · 0 评论 -
爬虫学习打卡1——urllib库和requests库
urllib库requests库环境:Anaconda3(python3.5)urllib库使用urllib构建一个请求和响应模型import urllibstrUrl="https://www.baidu.com/"response=urllib.request.urlopen(strUrl)print (response.read())运行返回:run...原创 2018-08-03 18:20:04 · 801 阅读 · 0 评论 -
爬虫学习打卡2——BeautifulSoup
BeautifulSoup库import requestsfrom bs4 import BeautifulSoup #给请求指定一个请求头来模拟浏览器headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 ...原创 2018-08-05 10:12:36 · 629 阅读 · 0 评论 -
爬虫学习打卡3——xpath
Lxml(xpath)xpath简单用法基础语法获取单个页面单条数据1.获取书名2.获取评分和评分人数3.获取书的路径和图片地址获取单个页面多条数据获取多个页面多条数据Lxml(xpath)爬虫的抓取方式有好几种,正则表达式,Lxml(xpath)与BeautifulSoup,上一篇讲了用BeautifulSoup来爬取网页图片,这一篇轮到用Lxml(x...原创 2018-08-05 18:36:40 · 1561 阅读 · 0 评论 -
爬虫学习打卡4——Proxy(代理)的设置
写在前面的话:每一个实例的代码都会附上相应的代码片或者图片,保证代码完整展示在博客中。最重要的是保证例程的完整性!!!方便自己也方便他人~欢迎大家交流讨论~环境:Anaconda3(python3.5)爬虫的时候默认会使用环境变量 http_proxy 来设置 HTTP Proxy。假如一个网站它会检测某一段时间某个IP 的访问次数,如果访问次数过多,它会禁止你的访问。所以你可以设置一些代...原创 2018-08-06 11:28:46 · 2318 阅读 · 0 评论 -
爬虫学习打卡5——将爬取数据放入Excel
写在前面的话:每一个实例的代码都会附上相应的代码片或者图片,保证代码完整展示在博客中。最重要的是保证例程的完整性!!!方便自己也方便他人~欢迎大家交流讨论~环境:Anaconda3(python3.5)爬虫学习打卡3——xpath https://blog.csdn.net/Leo_Huang720/article/details/81433841中我们已经用xpath在豆瓣图书TOP2...原创 2018-08-07 17:44:58 · 16889 阅读 · 0 评论 -
爬虫学习打卡6——将爬取数据放入MongoDB
写在前面的话:每一个实例的代码都会附上相应的代码片或者图片,保证代码完整展示在博客中。最重要的是保证例程的完整性!!!方便自己也方便他人~欢迎大家交流讨论~环境:Anaconda3(python3.5)在上一节我们将爬取的数据存到了Excel中,这一节我们要把数据存入MongoDB中。import requestsfrom lxml import etreeimport pymon...原创 2018-08-08 17:01:50 · 1667 阅读 · 0 评论 -
PyMongo官方文档翻译和解析
Prerequisites先决条件Making a Connection with MongoClientGetting a Database得到数据库Getting a Collection得到集合DocumentsInserting a Document插入单个文档访问单个文档Getting a Single Document With find_one()Querying...原创 2018-08-08 20:09:05 · 1845 阅读 · 0 评论