进击的小白

模拟表单提交的原理:我们都知道Http是无状态的,所以当我们提交的数据和浏览器中正常提交一样,那么服务器就会返回和浏览器中一样的响应.所以我们这里来模拟浏览器表单提交登录广东工业大学的图书馆 http://222.200.122.171:7771/login.aspx ,获取cookie,我们接下来访问图书馆网站里的其他页面时就带上这个cookie,服务器会认为我是已经登录的用户,回正常返回数据给

要爬取去哪儿上面的所有的热门景点的数据 可以先再 搜索出 搜索 热门景点  http://piao.qunar.com/ticket/list.htm?keyword=%E7%83%AD%E9%97%A8%E6%99%AF%E7%82%B9®ion=&from=mpl_search_suggest可以看到  有几千页 的景点数据,我们要爬取的就是这些数据;最好是从分类开

在爬取12306之前需要做的工作就是:1,分析请求过程2,分析是否需要处理cookie3,编写代码4,测试爬取网站是否有访问次数限制5,部署到正式服务器上这里重点写 如何分析请求过程:这是12306上面查询车次的界面,出发地和目的地 是我们需要输入的, 如果要爬取全国的所有的车次 那就需要找到全国所有的出发地到目的地的列表.找了 很久发现在 车次查询页面ht

前段时间写了 爬取美团商家信息的博客 爬虫抓取美团网上所有商家信息 ,这次说说爬取糯米网,由于某些原因无法提供源代码,但是,代码不是关键,最关键的是思想,懂了思想,代码是很容易写的.爬虫最重要的是分析请求过程,按照实际请求过程去请求数据.分析是否需要处理cookie,有些网站比较严格请求某些接口的数据时是需要cookie,获取cookie的链接一般是首页,一般的系统会有一个Jsessi

使用pandas自带的pd.to_datetime把 unix 时间戳转为时间时默认是转换为 GMT标准时间  北京时间比这个时间还要加 8个小时,使用python 自带的 time.localtime  转换时 默认是会处理好时区的问题,可以直接转换为 北京时间的:pandas需要自己处理时区问题如果是pandas的字段(df.TIME为格式如上的时间戳)可以使用下面的方式转换:...