python爬虫
python爬虫
故沉
智商不高,情商不够
展开
-
【万分曲折的开头】利用python爬爬我的微信好友列表
在家呆的太焦虑了,总要做点什么学点什么才能缓解这种焦虑。想起来去年有师兄在朋友圈晒过使用 Python 的 itchat 模块爬取微信好友信息那就直接动手吧!首先安装itchat库,傻瓜式一键pip install itchat一上来就遇到好多问题问题一原因是我的文件名作死取了itchat.py,难怪了。所以取名还是要按规定来,否则自找问题。问题二...原创 2020-04-27 16:29:05 · 554 阅读 · 1 评论 -
python3.6下安装scrapy
之前已经尝试用Anaconda装过一遍,结果装完scrapy能用了,conda反而不能用了,原有的python版本和anaconda的版本都发生了变化,至今不知道哪里出错了。所以卸了之前的anaconda又装了一遍。好在电脑之前还装了一个python3.6版本的,在此基础上再装一遍scrapy。相关参考: Python3.6下scrapy框架的安装 pip安装报错:is n...原创 2018-06-21 20:06:31 · 860 阅读 · 0 评论 -
我的python爬虫自学之路
昨天开始装装插件,找找博客,看看知乎,开始我的python的自学之路。惭愧,我算是一个只有三分钟热度的人,挖个坑督促一下自己。希望能坚持把坑填上。先来盘点一下昨天完成的事,以及接下来的计划。看完两篇知乎文章并实现和理解了其中的简单实例Python爬虫(1):RequestsPython爬虫(2):XPath语法W3school上的XPath教程 简单整理了一下笔记 ...原创 2018-06-22 14:54:40 · 9433 阅读 · 3 评论 -
python爬虫填坑
正式开始填坑了。昨天上了一上午的课,加上期末复习,计划要每天减半。看完,并实现理解了Python爬虫(3):爬取豆瓣电影TOP250文章中用地应该是python2地语言,自己用的是python3.6版本,中间运行的时候出现一些小问题,百度解决了,不一一详述,仅贴上代码。# 爬取豆瓣电影TOP250# coding:utf-8import requestsfrom lxml import ht...原创 2018-06-23 09:18:20 · 554 阅读 · 0 评论 -
用Python写网络爬虫
填完笨方法学Python的坑,继续填Python爬虫的坑。识别网站所用的技术安装检查网站构建的技术类型——builtwith模块试了一下第一次是看百度首页没出来啥东西,然后试了书上的网址发生错误。最后看了一下豆瓣的.查了一下piwik是PHP和MySQL的开放源代码的Web统计软件,它卡伊给出一些关于网站的实用统计报告,比如:网页浏览人数、访问最多的页面、搜索引擎关键词等等。使用的jQuery是J...原创 2018-07-13 19:36:41 · 878 阅读 · 0 评论 -
win10+anaconda(4.2.0)+python3.5安装BeautifulSoup4-4.6.0
参考博文:anaconda安装beautifulsoup(64位机+win7+anaconda4.3.30+beautifulsoup4-4.6.0)图文教程 最开始直接用pip安装,报错 下载压缩包(附链接)https://www.crummy.com/software/BeautifulSoup/bs4/download/4.6/https://www.cru...原创 2018-07-13 20:50:31 · 3398 阅读 · 0 评论