- 博客(44)
- 收藏
- 关注
RSS订阅原创 Scrapy深入理解（一）
Scrapy理解（一）Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动...
2019-07-10 08:50:32
474
转载 Django理解
1、简述Django请求生命周期一般是用户通过浏览器向我们的服务器发起一个请求(request)，这个请求回去访问视图函数，（如果不涉及到数据调用，那么这个时候视图函数返回一个模板也就是一个网页给用户），视图函数调用模型，模型去数据库查找数据，然后逐级返回，视图函数把返回的数据填充到模板中空格中，最后返回网页给用户。wsgi,请求封装后交给web框架 （Flask、Django）中间...
2019-07-02 22:42:09
1482
1
转载 TCP、IP协议，HTTP协议
TCP/IP协议、HTTP协议等相关概念转载自：https://blog.csdn.net/chenliguan/article/details/791461241 详解TCP1.1 TCP是什么？TCP是Tranfer Control Protocol的简称，**TCP协议是一种面向连接的、可靠的、基于字节流的运输层通信协议。**通过TCP协议传输，得到的是一个顺序的无差错的数据流。发送...
2019-06-21 17:28:41
1248
原创 Python中的单例
Python中的单例单例模式（Singleton pattern），是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例的特殊类。通过单例模式可以保证系统中，应用该模式的一个类只有一个实例。即一个类只有一个对象实例。Python 中实现单例的几种方法：使用模块使用函数装饰器使用类装饰器使用类基于__new__方法实现基于元类（metaclass）方式实现一、使用模块...
2019-06-21 16:14:27
499
原创 Numpy（一）
1、从一张图片上去认识numpy# 导入numpyimport numpy as np# as 别名# matplotlib是画图或者是读取图片的工具库import matplotlib.pyplot as plt# 读取图片# 在jupyter中 查看函数的使用规则,shift+tabsanpang = plt.imread('./jinzhengen.png')sanpan...
2018-12-15 14:36:10
219
原创 IPython
一、启动程序执行以下命令：jupyter notebook[NotebookApp] Serving notebooks from local directory: /home/nanfengpo[NotebookApp] 0 active kernels[NotebookApp] The IPython Notebook is running at: http://localhos...
2018-12-15 10:12:50
208
转载 解决使用jquery1.3以上版本时出现Malformed OGNL expression: f[\] [ognl.ParseException: Encountered ” “]” “]的问题
当使用jquery1.3以上版本时，进行ajax参数传值时，会出现以下的一个错误:ognl.ExpressionSyntaxException: Malformed OGNL expression: f[] [ognl.ParseException: Encountered " "]" "] "" at line 1, column 3. 这个错误是因为,jquery在传递数组类参...
2018-11-08 22:03:59
2157
原创 多线程分布式爬虫
一. 爬虫的种类1. 普通爬虫for url in urls: url -> 发送请求 -> 获得response -> 解析response -> 保存数据2. 多线程爬虫urls 保存在本地内存中work(url -> 发送请求 -> 获得response -> 解析response -> 保存数据)启用多个work...
2018-11-01 21:15:28
1153
原创 selenium窗口切换（以爬取纵横小说网为例）
selenium窗口切换（以爬取纵横小说网为例）如果遇到二级窗口，就需要切换窗口，关闭新打开的标签页，并不能让代码自动进行窗口句柄的切换1. 获取当前窗口的句柄main_window = driver.current_window_handle2. 点击链接，打开新的标签页点击的时候，driver仍然控制着第一个窗口，由于a标签的target属性是_blank，所以出现了第二个窗口t...
2018-10-31 21:24:53
402
原创 使用selenium爬取淘宝商品信息
使用selenium爬取淘宝商品信息1. 发送请求driver = webdriver.Chrome()# 打开某些网页，会有广告遮住找到的tag，设置窗口的大小就可以避免# driver.set_window_size(1920, 1080)driver.implicitly_wait(6)url = 'https://www.taobao.com/'driver.get(url)...
2018-10-31 20:58:30
644
原创 scrapy的安装
scrapy的安装1. 通用安装pip install scrapy2. Windows系统安装过程中遇到问题怎么办？可以下载Microsoft Visual C++ 来解决遇到的问题可以下载已经编译好的 Twisted 文件，然后在安装scrapy...
2018-10-29 16:59:07
143
原创 flask上线部署
(1) 安装安装ssh新版本安装位 apt/apt-get老版本为 apt-get安装以后 ifconfig查看当前的ip地址如果网络不在同一个ip段 将网络模式设置为桥接安装pip3sudo apt install python3-pip在要安装项目的目录创建虚拟环境virtualenv venvsource activate # 开启虚拟开发环境模式退出 ...
2018-10-22 21:17:17
2080
原创 Flask（一）
Flask入门WEB工作原理：B/S浏览器与服务器端C/S客户端与服务器端Flask框架简介：flask是一个非常小的python web框架（被成为微型框架） 只提供了一个强健的核心 其它功能都是通过第三方扩展库实现的 这也就意味着 需要安装很多第三方扩展库安装：pip3 install flask运行flask代码from flask import Flask #导入...
2018-10-11 20:23:49
255
原创 Flask（二）
一、flask-script扩展库作用：flask终端运行解析器 和django一样安装：pip3 install flask-script使用：from flask import Flaskfrom flask_script import Manager#终端运行解析器app = Flask(__name__)manager = Manager(app) #类的实例化...
2018-10-11 20:22:01
176
原创 Flask（三）
一、错误页面定制manager.py@app.errorhandler(404)def page_not_found(err): return render_template('error.html',errorinfo=err,title='404 page_not_found',info='您访问的页面被外星人抓走了～')@app.errorhandler(500)def ...
2018-10-11 20:19:11
201
原创 DOM（一）
DOMDOM:Document Object Model 文档对象模型通过DOM可以获取、更改、删除等页面标签的操作。DOM本身为BOM的一部分。在html中，页面的组成为标签。在DOM中页面由节点组成。DOM节点：1、文档节点2、标签节点3、文本节点4、属性节点5、注释节点节点之间的关系：父节点：一个父节点可以拥有多个子节点。子节点：一个子节点只能有一个直属的父节点...
2018-09-26 21:21:09
280
转载 定义属性
概述django根据属性的类型确定以下信息当前选择的数据库支持字段的类型渲染管理表单时使用的默认html控件在管理站点最低限度的验证django会为表增加自动增长的主键列，每个模型只能有一个主键列，如果使用选项设置某属性为主键列后，则django不会再生成默认的主键列属性命名限制遵循标识符规则由于django的查询方式，不允许使用连续的下划线库定义属...
2018-09-25 21:12:10
380
原创 Django的基本使用（九）
Django的站点管理 ---- django自带的用户方便管理后台数据的站点一、进入默认的站点1.创建一个可以使用的用户 python manager.py createsuperuser 需要设置用户名 需要设置邮箱 需要设置密码: （1）至少8位 （2）不能太通用 （3）不能全部为数字2.用ip:端口/admin 即可访问输入账号,密码就可以访问二、自己的数据站点中...
2018-09-24 16:46:07
253
原创 Django的基本使用（八）
一、富文本rtf1.富文本介绍即文字可以带一些丰富的格式2.在线富文本编辑器论坛博客编辑的时候使用3.django中的使用1.安装django中的插件pip install django-tinymce2.（1）在setting中配置 TINYMCE_DEFAULT_CONFIG = { 'theme':'advanced', 'width':800, 'heig...
2018-09-23 22:21:26
163
原创 Django的基本使用（七）
一、在django中静态资源的使用1.静态资源: 如:css,js,img,文件… 在django中放在static目录下的2.使用:在项目的目录下创建static目录在setting中配置了才可以使用配置: 在setting的后面追加: STATICFILES_DIRS = [static的路径os.path.join(BASE_DIR,"static")]在模板ht...
2018-09-23 21:21:06
184
原创 Django的基本使用（六）
一、pycharm创建项目的环境1.create project 创建项目2.选择 django项目3.location中选择项目的位置4.project interpreter — 选择一个已经存在的虚拟环境5.more setting中template language选择django设置一个 application name 即可6.配置…二、cookie会话技术客...
2018-09-22 23:59:30
208
原创 Django的基本使用（五）
一、url传递参数1.非关键字参数url地址访问格式: /路径/路径/参数urls正则的定义: /路径/路径/(参数匹配的正则)注意:如果要获取传递进来的参数,必须给对应的参数的正则加上 ()才可以提取,如果url中参数参数,就必须在视图函数的形式参数上定义一个参数,用来接收,否则报错如果需要传递多个参数:urls正则的定义: /路径/路径/(参数匹配的正则)/(参数...
2018-09-22 17:42:06
150
原创 Django的基本使用（四）
一、templates用来放置模板文件1.templates 该目录本身没有,如果我们需要使用,需要我们自己创建,该目录名通常为templates2.创建位置1.直接在应用下创建该目录,应用下的html模板,能直接在应用下的views中使用,一般也只给自己的应用使用2.直接在项目下创建该目录,在项目下创建的改目录,所有的应用中的views都可以方便的使用3.若果是项目下的template...
2018-09-18 21:29:12
334
原创 Django的基本使用（三）
一、一对一关系场景: 人 (1个)—- 身份证 (1个) 1:1外键关联格式:关联的属性 = models.OneToOneField(关联表的类名)django会自动的去外键关联1.设计模型 （1）人name 姓名age 年龄....（2）身份证 idCard idNumber 身份证号address 地址sex 性别...
2018-09-12 21:14:47
290
原创 Django中如何将urls中的内容分离
问题：如果所有的urls路由都写在项目下的urls中,难以管理,不同应用之间还可能出现冲突解决:将项目的urls 中的内容分离如何分离:1.在应用目录下创建一个urls.py, 代码与项目下的urls类似2.在应用下的urls中可以添加自己引用对应的路由 如: url("路径",对应的视图函数)3.还需要在项目的urls中添加应用的urls 如: url("...
2018-09-11 21:23:46
255
原创 Django的基本使用（二）
M — model 数据模型层 作用:方便的操作数据库一、连接数据库mysql, sqlserver, oracle….. 0.django默认只能连接关系型数据库 1.安装依赖的库 可以使用的库: (1)pymysql (2)python_mysql(不稳定) (3)mysqlclient(配置麻烦) 安装pymsql: pip install pymysq...
2018-09-11 21:10:35
175
原创 Django的基本使用（一）
一、创建一个项目1.设置环境创建对应的虚拟环境 命令: mkvirtualenv -p /usr/bin/python3.5 hz1805 查看所有虚拟环境 workon 退出虚拟环境 deactivate 删除虚拟环境 rmvirtualenv hz1805 使用虚拟环境 workon 虚拟环境名安装 django pip install django==...
2018-09-10 20:22:23
275
原创 Windows中MongoDB的安装及终端启动
一、安装双击安装包，然后跟着引导一步一步的安装就可以了二、准备工作及开启1.进入cmd终端，以管理员身份运行 进入安装目录下的bin目录下 2.执行mongod.exe --dbpath=”安装目录” 注：有些情况下，不用在安装目录两边加引号，有些情况下必须加(与自己的电脑系统和环境有关)。如果不成功，就尝试一下另外一种命令。mongod.exe --dbpath...
2018-09-05 19:17:51
1379
原创 MySQL常用命令
一、mysql 的基本使用命令1.启动mysql服务 (1).windows中启动服务net start mysql关闭: net stop mysql(2).linux启动服务, 默认开启的service mysql start关闭:service mysql stop2.进入mysql 命令: mysql -u 用户名 -p 然后输入密码即...
2018-09-04 21:29:47
231
原创 解决Ubuntu每次开机出现"System Program Problem Detected"弹窗
最近，我的Ubuntu每次开机出现”System Program Problem Detected”弹窗，确实烦人解决方法1：执行命令：sudo gedit /etc/default/apport 将enabled=1改为enabled=0保存退出即可 解决方法2：执行命令，删除一个文件即可(目前我还不知道删除文件后会不会出现影响)sudo rm -rf /va...
2018-09-04 19:42:53
684
原创 如何开启MySQL的远程连接
默认情况下，mysql只允许本地登录如果要开启远程连接，则需要进行以下操作：1.修改 “mysql.cnf” 文件/etc/mysql/mysql.conf.d/mysqld.cnf 找到bind-address = 127.0.0.1 改为bind-address = 0.0.0.0即可 2.连接服务器后,操作mysql系统数据库命令为： mysql...
2018-09-04 19:19:47
182
原创 版本控制器介绍
一.版本控制器,用处及好处1.便于开发,管理源码 2.管理版本 3.管理进度二.使用场景1.代码正常工作–改了几行代码–更新代码 2.程序出问题了–把代码改回来–还原代码 3.客户1 – 第一天需要进度条 第二天对话框显示进度 第三天还是进度条好看 — 选择某个版本的代码 4.有人在代码中做了手脚 –找出这个人 5.代码拥有权限 —偷代...
2018-09-02 14:10:57
189
原创 Ubuntu中GitHub安装及使用
git：项目管理工具，可以允许单人或多人合作开发。一、安装gitsudo apt install git二、配置git账号git config --global user.name "git的用户名"git config --global user.email "git的邮箱"三、根据用户名及邮箱生成密钥(该密钥会用在该账号中)ssh-keygen -...
2018-09-02 14:10:40
541
原创 Ubuntu中Nginx安装
1.访问nginx管网2.选择download3.文档中找官网安装方式4.下载认证密钥wget http://nginx.org/keys/nginx_signing.key会下载到当前目录下的nginx_signing.key文件中 5.安装sudo apt-key add nginx_signing.key6.配置源切换到对...
2018-09-02 14:10:28
134
原创 Ubuntu中FTP服务器安装
FTP：用于文件上传下载的服务器 1、vsftpd 是一个开源免费的ftp服务器软件，在Linux中最受推崇的FTP服务器，特点小巧轻快，安全易用 2、xftp 是一个开源免费的ftp客户端软件一、安装服务器sudo apt install vsftpd二、启动服务器systemctl start vsftpd service vsftpd start...
2018-09-01 21:49:42
185
原创 Ubuntu中Redis安装
1、准备内容需要有一个redis在Linux下的安装包2、解压缩安装包解压到某一个常用的软件目录中tar -zxvf redis..gz -C ~/software 3、进入到解压完成的路径下执行makecd ~/software/redis-4.0.9sudo make 构建4、make构建指令结束后，执行以下命令make t...
2018-09-01 21:34:32
111
原创 Ubuntu中MySQL安装
安装MySQL命令： sudo apt install mysql-server-5.7 注：安装过程中，会提示输入root用户的密码，输入结束后回车；会再次提示一个确认密码，输入后回车，等待安装；密码不要忘记。安装结束后进入mysql的指令mysql -u root -p会提示输入密码（输入root用户的密码，成功后进入mysql） 当出现 mysq...
2018-09-01 21:25:38
99
原创 Ubuntu中Python3的环境搭建及pycharm的安装
一.虚拟环境1.Linux系统默认已经安装了两个python版本，分别为python2.7.12与python3.5.2 如果执行命令python，进入到python2.7.12环境下 如果执行命令python3，进入到python3环境下2.不同的项目需要不同的python环境 如果切换项目需要来回的卸载安装新的环境 例如: 程序A需要某个库的1.0版本，而程序B需要同样这个库的...
2018-09-01 21:19:54
7003
5
原创 Ubuntu安装jdk10.0.1
jdk 是java的开发环境 — 原码安装1. 下载jdk,并copy到linux系统中2. 解压到安装目录一般在 /usr/local/java java是自己命名的 sudo tar -zxvf jdk-10.0.1_linux-x64_bin.tar.gz -C /usr/local/java/3.配置环境变量0.位置: 通常在 ~/.bas...
2018-09-01 19:50:06
781
原创 Ubuntu安装搜狗输入法
1.下载搜狗输入法安装包在Linux自带的火狐浏览器中，搜索搜狗输入法，找到Linux版本 或者在Windows中的浏览器下载，直接把安装包拖到Linux中即可 选64位的版本下载（根据自己的系统选择） 2.升级FcitxUbuntu 12.04 LTS 版本 由于 Ubuntu 12.04 LTS 自带的 Fcitx 版本较旧，需要先通过 PPA 升级，才能安装下载的...
2018-09-01 19:29:29
383
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人