python
深色流年中等你
计算机专业本科在读
展开
-
Scrapy选择器Xpath和CSS
使用Scrapy爬取数据前,需要先了解Scrapy的选择器。网络爬虫的原理就是获取网页返回,然后提取所需的内容。简单的网页可以使用Python的re模块提取内容,复杂一点的可以使用scrapy。scrapy提取数据的机制被称为选择器(seletors),通过特定的XPath或者CSS表达式来“选择”HTML文件中的某个部分。XPath是一门用来在XML文件中选择节点的语言,也可以用在HTM...原创 2019-04-20 17:05:08 · 161 阅读 · 0 评论 -
pycharm中django项目中的scrapy创建运行
运行环境windows10,开发软件:pycharm2018.2.21.创建项目在django项目中,创建scrapy方法:terminal->scrapy startproject 爬虫名2.创建爬虫scrapy genspider zhihu zhihu.com如果在同一项目下创建多个爬虫,需要termi->cd wister->scrapy gens...原创 2019-05-09 21:34:17 · 504 阅读 · 0 评论 -
django无法使用sqlite3--com.intellij.execution.ExecutionException: Exception in thread "main" java.lang.C
报错:com.intellij.execution.ExecutionException: Exception in thread "main" java.lang.ClassNotFoundException: org.sqlite.JDBC原因:缺少驱动解决方法:进入后,右下角会有提示-,点击download,下载完成后,重启pycharm即可。成功界面如下:...原创 2019-05-07 11:03:50 · 5779 阅读 · 0 评论 -
scrapy基础
1.scrapy原理下面三张图是一样的!!!注意:1.Item不是Item Pipeline,是数据。 2.调度器,所有要爬取的网址都会放到调度器中统一管理。 3.请求可以认为是url 4.框架由模块组成 5.downloader下载的是网页 6.Item P...原创 2019-05-09 19:35:20 · 147 阅读 · 0 评论 -
scrapy startproject xxx时,报错 from cryptography.hazmat.bindings._openssl import ffi, lib
使用的是anaconda搭建环境,python3.7,在pycharm使用scrapy startproject xxx时,报错:from cryptography.hazmat.bindings._openssl import ffi, libImportError: DLL load failed: 找不到指定的程序。解决方法:参考https://blog.csdn.net/joe...原创 2019-05-09 19:03:45 · 3118 阅读 · 3 评论 -
运行django新的项目,页面显示以前的项目
打开任务管理器->结束python.exe->重启pycharm->运行django项目原创 2019-05-07 10:30:21 · 640 阅读 · 0 评论 -
Django--form组件
1.is_valid()校验机制def login(request): if request.method == "POST":#POST方法,相当于在登录页提交账号密码 # print("收到的数据:",request.POST) form_obj = LoginForm(request.POST) #与if外的form_obj不同,此包含数据...原创 2019-05-07 09:41:51 · 155 阅读 · 0 评论 -
anaconda安装scrapy遇到的坑
安装scrapy可参考learner_and_thinke的博客:https://blog.csdn.net/learner_and_thinker/article/details/78953051这里遇到的坑有:输入命令:conda install scrapy后报错:EnvironmentNotWritableError: The current user does not have ...原创 2019-04-25 10:37:34 · 2325 阅读 · 0 评论 -
ajax实现json传参
在上一篇博客的代码基础上进行:index.html//ajax传送json参数$("#user").blur(function () { $.ajax({ url:"/clean_user/", type:"post", data:{"user":$("#user").val(), "csrfmiddlew...原创 2019-04-22 17:39:50 · 1709 阅读 · 0 评论 -
ajax无参请求和有参请求
环境:python3.7IDE:pycharmindex.html<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title> <script src="https://cdn....原创 2019-04-22 16:36:06 · 2610 阅读 · 0 评论 -
django ajax
Ajax准备知识:json什么是json?js对象: JS类型原创 2019-04-21 18:24:17 · 88 阅读 · 0 评论 -
什么是AJAX?
AJAX(Asynchronous Javascript And XML)--异步Javascript和XML。即使用Javascript语言与服务器进行异步交互,传输的数据为XML(现在可以传输的数据不只XML)。同步:当我们发送一次请求时,必须等待这个请求返回响应后,才能进行下一次操作异步:当我们发送一次请求,第一次请求没有及时响应的时候,仍然可以进行下一步操作AJAX采用异步方式...原创 2019-04-21 17:45:13 · 71 阅读 · 0 评论 -
Django—UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb5 in position 2: invalid start byte
问题描述:环境配置成功,Django成功pip,运行项目报错,浏览器输入127.0.0.1:8000报错问题截图:解决问题过程:在https://blog.csdn.net/shyazhut大佬和https://blog.csdn.net/zugofn大佬的帮助下,排除了环境配置和软件等问题。最终,zugofn在https://codeday.me/bug/20190302...原创 2019-04-13 15:55:35 · 1601 阅读 · 1 评论 -
Django--中间件
可以理解为,是wsgi和视图views之间的模块。wsgi只处理数据,不涉及逻辑处理,所以中间件是第一个进行逻辑处理。客户端和服务器间流程如下:Django流程:...原创 2019-05-08 09:21:36 · 114 阅读 · 0 评论