小M呀~之大数据系列

爬取苏宁图书信息

解决方式：使用with方法打开了文件，生成的文件操作实例在with语句之外是无效的，因为with语句之外文件已经关闭了。

报错情况：原因：这是由于pycharm编辑器的原因，项目名称与爬虫文件夹名称一致，所以导包错误。解决方法：1.选中项目>>右键>>选择Mark directory as >> Source RootMark directory as Source Root 表示如下...

import urllib.request # 用于请求打开网页from bs4 import BeautifulSoup # 网页解析获取数据import re # 引入正则表达式import xlwt # 保存文件为excel# 正则表达式提取岗位信息jobHref = re.compile(r'"job_href":"(.*?)"', re.S) # 岗位链接jobName = re.compile(r'"job_name":"(.*?)"', re.S) # 岗...

说到爬虫，相信大家出现在脑海中的一定是python。python在最近几年确实热火朝天，对于不会编程人员来说，利用好EXCEL一样也可以爬取一些简单的数据，并且方式非常简单。 1.爬取东方财富网上基金信息。网址为：http://fund.eastmoney.com/trade/pg.html2.在浏览器任意地方右键 -> Network->Headers3.向下拉找到Request Headers 中的user-Agent,并复制其value...