scx2006114的博客

       学习了三个星期的python基础语法，对python语法有了一个基本的了解，然后想继续深入学习，但不喜欢每天啃书本，太无聊了，只有实战才是练兵的最好效果。听说爬虫技术还是比较好玩的，就搞爬虫，但找了好多资料没有找到合适的资料，最后才找到传说中的合适爬虫初学者的书籍《Python 3网络爬虫开发实战 ,崔庆才著》（文末附书本下载链接），学习了三天，终于完整搞出了自己的第一爬虫，哈哈~。...

利用网络爬虫获取简单信息的基本步骤是：提取网页源码——>筛选内容——>保存内容一、提取网页源码 取网页源码方法很多，常用的库有：urllib库，requests库等。。。具体的例程可访问我的上篇文件： https://blog.csdn.net/scx2006114/article/details/81389331二、筛选内容...

目标：使用浏览器全自动的访问简书的简书电影板块内容环境：python3.65     pycharm编译环境    谷歌浏览器思路：       1.首先使用selenium模块打开谷歌浏览器并使用百度搜索“简书”，得到如图一所示的图片，网上这一步讲解很多并且很详细，我就不在此处详细讲解了。代码奉上。                                       ...

      目标：获取墨迹天气的整个8月份的温度情况，并以txt格式的文件发送到邮箱      环境：pyhton3.6   pycharm软件   163邮箱（163邮箱要打开授权码，才能发送成功）      思路：1.获取墨迹天气8月份的温度网页源码                 2.使用正则表达式或解析器对源码进行筛选，得到有用的数据信息，本文使用正则表达式        ...

       学习了一个月的爬虫，对爬虫的概念和思路有了一个基本了解，爬虫的基本思路是：首先获取网页源码，使用urllib,request库等；然后对网页源码进行筛选出需要的信息，使用正则表达式，BeautifulSoup库等，最常用的还是正则表达式；其次就是存储信息，可以将信息存储到excel表格，txt文件中，也可以存储到Mysql等数据库中。在学习爬虫的阶段也是对python语言的一种更深入...

在编写爬虫时，设置在字典中两个IP地址，结果出现如下图所示的错误：[WinError 10061] 由于目标计算机积极拒绝，无法连接。设置代理IP为：proxy_handler = ProxyHandler({ 'http': '127.0.0.0:4973', 'https': '127.0.0.1:4973'})opener = build_opener(p...