python、爬虫
jxust_tj
这个作者很懒,什么都没留下…
展开
-
python爬虫
这两天学了下python爬虫,第一个目标就是模拟登录一个网站,现在终于成功了^_^,纪念一下~步骤:要登录首先得找到网址传输数据,除了一般的账户和密码之外还有一些隐藏的参数,需要用浏览器的F12调试。先手动用浏览器登录,一般看网络中文件参数的第一个,可以看到传输的所有参数。一般网站会有一个值为随机码的参数,这个就要用正则表达式取获取。获取完后就行了,但是我依然登录不了。。我输出获得原创 2016-03-24 14:50:57 · 914 阅读 · 3 评论 -
web.py相关
官方文档:http://webpy.org/获取post传来的数据import weburls = ( '/CommitMap', 'CommitMap')class CommitMap: def POST(self): #print data' #data = web.input() #return 'ooo' + str(''.join(data.keys原创 2017-04-18 11:58:48 · 570 阅读 · 0 评论 -
django加载css、js等内容
参考了以下内容:官方文档http://jingyan.baidu.com/article/db55b609a93b114ba30a2ffb.html1. 新建一个目录static,这个目录与templates和manage.py都在同一个目录下2. 将css、js等目录都拷到static目录下3. 再在setting.py中添加如下内容:STATIC_URL原创 2017-07-06 12:41:55 · 2398 阅读 · 2 评论 -
使用模拟发送请求插件(postman)的一些问题
在写完爬取某网站的代码后,发现没有什么错误但依然无法抓取到网站内容。于是用postman试一试是否可抓取到,它只需要一个链接和一些参数。使用postman后可以获取网站内容。后来发现这是有问题的,我所请求的网页是其他网页302跳转过来的,带了cookie,所以使用postman不应该获取到所需内容。而它能够获取到内容是因为我手动通过浏览器打开网站时浏览器中有了cookie。后来我在google商城原创 2016-12-12 15:57:07 · 2396 阅读 · 0 评论 -
django自定义用户认证后进不了带有@login_required的页面
介绍下我的配置setting中:AUTHENTICATION_BACKENDS = (xx.yy.zz) #这是自定义backend的路径,其中zz是类名view中:auth.login(request, user, backend='zzz')按理说login之后就可以进入带有装饰符@login_required的页面了,但是我始终进不了,看了半天源码也没发现问题。。后来记起原创 2017-07-28 11:19:02 · 3711 阅读 · 2 评论 -
python好用的函数、工具等
with open('page.json', 'w') as f: json.dump(xxx, f, ensure_ascii=False, indent=2)原创 2017-01-12 14:17:36 · 481 阅读 · 0 评论 -
sublime和pycharm的优缺点
一直用sublime,最近写服务器和客户端的程序时就有些坑了,所以我简单说一下我遇到的他们的区别sublime优点:1.字体好看,界面简洁,看起来很爽2.轻便,直接把目录拖进去就行了,不用创建项目什么的。打开只需0.1秒~ 但你想要的功能基本都有,还有很多酷炫的插件让你锦上添花3.写代码很酷啊,你去看下sublime官网就知道了,比如多行编辑(这个确实用到过),还有各种快捷键让...原创 2017-04-26 16:03:03 · 43777 阅读 · 6 评论 -
探究django能否通过线程返回http请求
我的django版本: 1.11.2首先说两点知识:1. django在1.7版本之后服务默认是多线程的,也可以在开启服务时命令加个 [--nothreading] 的参数使服务禁止使用线程响应请求。官方文档2. view 函数一定要返回一个 HttpResponse 对象 由于某些需求,多线程服务情况下,本来我想,来一个请求便自己开一个线程去取数据,然后通过这个线程响应这个请...原创 2017-08-19 15:01:00 · 1840 阅读 · 0 评论