qq_40260055的博客

原创 python爬虫100例--爬虫技术--IP代理（4）

写在前面为甚麽需要代理这个就和网站服务器的自我保护机制相关了，我们知道通过代码访问某个网站的速度时惊人的，认为手动访问需要更多的时间。服务器未来保护自己的资源不被快速消耗，就做出对那些同一个ip地址的访问时间间隔做了要求，一般一个IP访问某个固定网站次数太多，服务器默认将该IP放入黑名单中，那么我们的访问就熄火了。所以聪明的人们就想到了，我每次访问的时候，就不断地换IP地址，混淆服务器，这样一来，就可以达到持续访问的效果了一、代理IP的获取一般来说，总有一群人做一些免费的服务给大家以此来吸引大家。但

原创 python爬虫100例--爬虫技术--Selenium模拟登录CSDN（3）

写在前面1、为甚麽要模拟登录？ 怎么说呢，现如今各大网站都需要用户登录后才可以访问到相关的信息，你不登录，它不给你机会。这就像是个门槛放在哪里，只有越过障碍，才能走上平坦大道。2、为甚麽使用Selenium? 当然时它的可视化和自动化了，太有感觉了，自己就像上帝一样，写写代码，我的浏览器就自己动起来的，它不香嘛？话不多说了，就动起来。一、目标网站当然时小编经常逛逛的blog:小编个人主页二、工具主要是Selenium 模块，其他照旧。三、网站分析在这里小编介绍的是一种核心技术，即通

原创 python爬虫100例--广州美食--美团官网（2）

写在前面小编来广州已经读了一年书了，对广州当地的美食还是品尝过不少的，说真的，广州的美食真的很深受小编的喜爱。于是，今天闲时有空，看看美团官网上各大美食的情况吧。一、目标网站美团官网：广州美食二、工具今天采用pymongo模块来存储那么多详细的信息，其他的工具照旧。三、网站分析总的来说，这个美团官网对这商户信息的保护还是蛮公开的，大家尽可能看到详尽。所以来很容易获取到其主要信息。很明显，该链接下就有我们需要的信息，看来不用费什么太大的功夫了。但是在写代码测试过程中，小编发现，该网站对请求

原创 一学就会的graphviz安装教程

一、小编安装历程说来安装这个优秀的绘图工具，可真是身心俱疲，呕心沥血，从来没有这么难的安装包，在看过那么多博主的博客，也试过了许多，最终才完成了。你能看到我的这篇博客，那么关于graphviz 的安装就到此结束吧，因为小编已经通过以下方法，成功在pycharm中安装好了.话不多说，开始干。！二、具体安装详情<1> graphviz 的获取摈弃之前pip install graphviz 的方法，我们另辟蹊径，换种方式（其实是因为之前的方法根本不管用了，哈哈），那我们不多说废话，直接上链接

原创 广州市2020年1月至10月份食品安全问题活动政策与事故

广州市2020年1月至10月份食品安全问题活动政策与事故表格的格式如下：1 标题2 食品问题类型（1表示食品安全活动与政策，2表示食品安全事故）3 日期4 月份具体的数据来源是：https://www.cfsn.cn/...

原创 淘宝化妆品数据4356