Python
水桶前辈
爱旅行爱生活喜欢西藏的蓝天白云
展开
-
利用NodeJS抓取某商品信息
利用NodeJS作为后端服务器抓取某商品信息,并解析出来然后以react+webpack+antd为前端界面展示出来。后台代码如下:// 引入依赖var express = require('express');var utility = require('utility');var eventproxy = require('eventproxy');var superagent = r...原创 2021-01-26 15:12:38 · 271 阅读 · 0 评论 -
Mac Python建立简单的本地服务器
Mac Python建立简单的本地服务器由于Mac自带Python 所以省去我们去下载了 打开终端 执行pythonstm-macmini:~ apple$ pythonPython 2.7.10 (default, Jul 14 2015, 19:46:27) [GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.39)] on darwinTyp...原创 2018-03-07 16:21:32 · 912 阅读 · 0 评论 -
Scrapy增加随机请求头user_agent
一般为了避免服务器反爬虫,当我们发出request时,需要增加一些随机的请求头信息(header),然后就可以轻松的绕过服务器的反侦察手段了。因此一般只要在middlewares.py文件中新增加如下代码,然后每次request的时候,就会有随机的user_agent了,然后就可以有效的避免服务器反爬虫了。#以下用于PC端请求数据,但网上有一些请求头是手机端的,要看清楚。#因为一般请原创 2017-10-08 23:21:37 · 1896 阅读 · 0 评论 -
Scrapy输出CSV指定顺序的列表
scrapy执行这个脚本cmdline.execute("scrapy crawl detail -o ductdetail.csv")输出数据时,发现字段Item/Field的顺序不正确,因为Item中的数据是按照字典来输出的,因为字典是随机的无序的,所以也导致输出的excle表格中的数据也是无序的。以下配置将解决上面的问题,然后按照你想要的顺序输出数据1.在spiders的目录下新建一个类it原创 2017-10-08 23:03:39 · 3198 阅读 · 0 评论 -
python利用Pycharm来运行调试Scrapy框架程序
Scrapy是著名的爬虫框架,Pycharm是强大的Python IDE ,为了方便调试Scrapy框架写的程序,然后需要配置下Pycharm。具体配置截图如下:1.给需要调试的类关联脚本2.下面截图是爬虫脚本,可以输出多种格式的数据强调一点,要注意begin.py这个脚本的文件目录,如上图,工程中的文件路径所示。3. 断点调试(截图为我抓取的某电商的数原创 2017-10-08 22:33:27 · 953 阅读 · 0 评论 -
Python IDE:PyCharm
PyCharm是一种Python IDE,带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具,比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。此外,该IDE提供了一些高级功能,以用于支持Django框架下的专业Web开发。官方下载地址:点击打开链接软件界面如下:刚刚上手,然后试了下狠好用,推荐!原创 2017-06-14 23:08:38 · 622 阅读 · 0 评论 -
python 正则表达式
转自:http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/00143193331387014ccd1040c814dee8b2164bb4f064cff000字符串是编程时涉及到的最多的一种数据结构,对字符串进行操作的需求几乎无处不在。比如判断一个字符串是否是合法的Emai原创 2017-06-14 21:05:55 · 266 阅读 · 0 评论 -
python Socket之客户端和服务端握手
简单的学习下利用socket来建立客户端和服务端之间的连接并且发送数据1. 客户端socketClient.py代码import sockets = socket.socket(socket.AF_INET, socket.SOCK_STREAM)# 建立连接:s.connect(('127.0.0.1', 9999))# 接收欢迎消息:print(s.recv(1024).d原创 2017-06-12 23:03:30 · 1113 阅读 · 0 评论 -
python TabError: Inconsistent use of tabs and spaces in indentation
错误原因,在所写的函数中用了空格,python应该要用tab来进行缩进的。这个错误是说你用了tab键作缩进了,因为在Python不像C/C++里用大括号来区分程序块,而是用缩进所以缩进很重要你把空格都换成Tab就好了 附函数调用#python 函数def test(a): if a >0: return a else: r原创 2017-06-12 00:14:20 · 13793 阅读 · 0 评论 -
python3运行py的文件时会出现missing parentheses is call to 'print'
#python3 的print需要括号如下正确的函数调用写法def printme(str): print(str) return # # 调用函数printme("我要调用用户自定义函数!")原创 2017-06-11 23:59:53 · 4073 阅读 · 0 评论 -
mac上安装运行python3
1. 相比较mac系统自带的python2.7,还是建议大家去python官网:点击打开链接 下载python 3 版本,学习最新的python3我这里下载是Python 3.5.3 - 2017-01-17 的版本,下载好了后一路继续就可以安装好python3了,接下来我们一起使用下python3.2. 运行下python3,试试输入命令(下面的代码写在hello.py 文件中)原创 2017-06-10 22:14:21 · 4642 阅读 · 1 评论 -
在Mac上直接使用Python2.7版本
如果你正在使用Mac,系统大于等于OS X 10.8,恭喜你,系统自带了Python 2.7以上的版本。查看系统是否自带了python,可以在控制台直接输入python,倘若有python的基本信息,就证明系统已经默认安装好了python(如下图所示)。看到上面的画面,就说明Python安装成功!当你看到提示符>>>就表示我们已经在Python交互式环境中了,可以输原创 2017-06-10 15:44:25 · 14359 阅读 · 0 评论 -
python 直接运行python文件编写好的代码
在Python的交互式命令行写程序,好处是一下就能得到结果,坏处是没法保存,下次还想运行的时候,还得再敲一遍。所以,实际开发的时候,我们总是使用一个文本编辑器来写代码,写完了,保存为一个文件,这样,程序就可以反复运行了。现在,我们就把上次的'hello, world'程序用文本编辑器写出来,保存为hello.py的文件。1. 文本编辑器保存python代码,然后去执行用S原创 2017-06-10 16:09:51 · 9157 阅读 · 0 评论 -
Python 的第一个 hello world 程序!
在交互式环境的提示符>>>下,直接输入代码,按回车,就可以立刻得到代码执行结果。现在,输入hello world 看看:现在,试试输入100+200,看看计算结果是不是300:原创 2017-06-10 15:48:53 · 326 阅读 · 0 评论 -
python WSGI接口
Python专注于生成HTML文档。因为我们不希望接触到TCP连接、HTTP原始请求和响应格式,所以,需要一个统一的接口,让我们专心用Python编写Web业务。这个接口就是WSGI:Web Server Gateway Interface。WSGI接口定义非常简单,它只要求Web开发者实现一个函数,就可以响应HTTP请求。我们来看一个最简单的Web版本的“Hello, web!”原创 2017-06-15 21:21:01 · 302 阅读 · 0 评论