python
沉默的小蜗牛
与君共勉
展开
-
python 爬取万方数据
万方数据是最早的数据平台,针对非计算机专业的用户群体来说,需要经常下载数据。因此今天你用scrapy框架实现一个万方数据下载的爬虫。只需要简单部署即可使用,下载的数据采用万方统一的规定格式存储。下面展示爬虫主代码:items.py文件字段定义:在代码中我尽可能详细的备注了才用xpath获取元素的方式和html结构中可能出现的坑。若你在学习爬虫,可以参考代码仔细学习下。...原创 2018-06-19 15:43:56 · 5227 阅读 · 5 评论 -
Python代码刷访问量
import urllib.requestimport reimport timefrom bs4 import BeautifulSoupopener = urllib.request.build_opener()opener.addheaders = [('User-agent', 'Mozilla/5.0 (X11; Linux x86...原创 2018-06-21 14:20:52 · 4681 阅读 · 2 评论 -
linux下安装python环境
1、linux下安装python3a、 准备编译环境(环境如果不对的话,可能遇到各种问题,比如wget无法下载https链接的文件)12yum groupinstall 'Development Tools'yum install zlib-devel bzip2-devel openssl-devel ncurses-devel2 下载 Python3.5代码包wget https://ww...原创 2018-06-19 17:39:30 · 1781 阅读 · 0 评论 -
[已解决]关于python无法显示中文的问题:SyntaxError: Non-ASCII character '\xe4' in file test.py on line 3, but no enc
想在python代码中输出汉字。但是老是出现SyntaxError: Non-ASCII character '\xe4' in file test.py on line , but no encoding declared。 (test.py是我自己的文件,提示错误出现在第4行, 你的文件也会得到相应的提示)。 一个简单的示例test.py代码如下:1 #!/usr/bin/python2 ...原创 2018-06-19 17:40:45 · 1938 阅读 · 0 评论