Macocoa的专栏

【现象】在编写Python时，当使用中文输出或注释时运行脚本，会提示错误信息：SyntaxError: Non-ASCII character '\xe5' in file *******【原因】Python的默认编码文件是用的ASCII码，而你的python文件中使用了中文等非英语字符。【解决办法】在Python源文件的最开始一行，加入一句：#

rules = ( Rule(LinkExtractor(allow=r'?start=\d+&filter='), callback='parse_item', follow=True),)...其他代码省略运行爬虫Rule(LinkExtractor(allow=r'?start=\d+&filter='), callback='parse_item',...

===============================================================    scrapy爬虫框架    ===============================================================            1.scrapy-project: itcast  (爬虫中不使用yield,...

简单测试代码。。。。import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Ruleclass TencentSpider(CrawlSpider): name = "tencent" allowed_domains = [...

使用Scrapy  提取器设置好规则rules = ( Rule(LinkExtractor(allow=r'type=4&page=\d+'), callback="parse_pages", follow=True))。。。其他代码省略，只说关键代码；满心期待运行 scrapy crawl myspider_nameCRITICAL: Unhand...

数据保存#4- 使用Pandas 整理数据import pandasdf = pandas.DataFrame(getNewLists(commonPage))#5- 使用Pandas 保存数据到数据库 Excel 或 Sqlite# Exceldf.to_excel('news.xlsx') #存# Sqliteimport sqli

获取首页分页 range(1, 2) 可以范围大一点#3- 获取首页新闻分页 并拿出所有分页的新闻URL 并取得对应新闻的内容import jsoncommonPage = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_2==gdxw1||=gatxw||=zs-pl||=mtjj&leve

接着上面章节  根据新闻的URL 拿到新闻内详情#2- 获取新闻内详情 入参: http://news.sina.com.cn/c/nd/2018-01-12/doc-ifyqqciz6031881.shtmldef getNewsDetail(newsURL): newsModel = {} reContent = requests.get(newsURL)

本人新建的  一般是目录Directory,  目录的图标是灰色的实际from ***  import ***   会报错；解决:选择需要import 的文件对应的目录    右键设置完后,  目录会变成蓝色样式 证明成功；此时import 不会报错了

map()函数map()是 Python 内置的高阶函数，它接收一个函数 f 和一个 list，并通过把函数 f 依次作用在 list 的每个元素上，得到一个新的 list 并返回。例如，对于list [1, 2, 3, 4, 5, 6, 7, 8, 9]如果希望把list的每个元素都作平方，就可以用map()函数：因此，我们只需要传入函数f

Python pass是空语句，是为了保持程序结构的完整性。pass 不做任何事情，一般用做占位语句。当你在编写一个程序时，执行语句部分思路还没有完成，这时你可以用pass语句来占位，也可以当做是一个标记，是要过后来完成的代码。比如下面这样：class Animal(object): pass# 大类:class Mammal(Animal):

File->Settings->Project Interpreter 安装完之后  包列表出现了该模块：

首先安装Homebrew，这个网上搜mac如何安装Homebrew即可解决；安装完后python--version   //查看当前Mac自带的版本brew search python  //会搜到python和python3。brew install python   //开始安装brew install python3   //开始安

新建项目   老鸟快捷键 跳过/usr/bin/python 路径获取:1- 打开终端， 输入which  python 或 whereis python 都可以2- 现在创建项目myPython了3-  如图

http://blog.csdn.net/guo_hongjun1611/article/details/50777727

一个Python脚本，本来都运行好好的，然后写了几行代码，而且也都确保每行都对齐了，但是运行的时候，却出现语法错误： IndentationError: unindent does not match any outer indentation level【解决过程】 1.对于此错误，最常见的原因是，的确没有对齐。但是我根据错误提示的行数，去代码中看了下，没啥问题啊。 都是用T

新建douban项目通过charles  获取到cookie后粘贴进入pycharm, 尼玛格式混乱，无奈手工添加冒号，同时将=号换成:号。。。cookies = { "bid": "EP3q1inffgg", "__yadk_uid" : "bIJElZgmoiojxX9iPANYuW69wOsqZtMC", "ll" : "118282",