自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Mr_blueD的博客

爱蓝色的小D先生的博客

原创 Python爬取拉勾网招聘信息存入数据库

先抓包分析我们想要获取的数据,很明显都是动态数据,所以直接到Network下的XHR里去找,这里我们找到具体数据后,就要去寻分析求地址与请求信息了。还有需要提交的表单信息分析完毕之后,我们就可以开始写我们的爬虫项目了。一.编写Itemitem编写比较简单# 拉钩职位信息 class LagouIt...

2018-03-12 23:21:02 2138 2

原创 Python3 +Scrapy 爬取腾讯控股股票信息存入数据库中

目标网站:http://quotes.money.163.com/hkstock/cwsj_00700.html每支股票都有四个数据表找到这四个数据表的信息所在数据名第一条到第三条数据所在其他三个表也是这样子寻找,找到数据后,就可以动手爬取了。于2018\3\17 重写。一.Item# 腾讯控股股...

2018-03-08 11:47:43 1040 0

原创 Python3 + Scrapy 爬取豆瓣评分数据存入Mysql与MongoDB数据库。

首先我们先抓包分析一下,可以看到我们想要的每一页的全部数据都在"article"下。而其中每一部的电影的数据可以看到在"info"下。所以我们只要在info下找到自己的目标数据并想好匹配方法即可,本文使用的是xpath,其实也可以在spiders中导入pyq...

2018-02-19 20:34:36 1865 0

原创 Python3 + selenium自动登录QQ空间

使用selenium+Python+webdriver# 登录qq空间 from selenium import webdriver import time browser = webdriver.Chrome() browser.get('https://qzone.qq.com/&...

2018-02-18 20:13:18 1261 0

原创 Python3爬虫实战(urllib模块)

2018.01.27 。我的第一篇博客。在自学Python的过程中,爬虫是我学的最有趣的一个方面,现在我把学习爬虫的总结展示出来。学Python爬虫中,第一个接触的模块就是urllib,下面我将通过实战教学告诉大家如何使用urllib中的request模块构造爬虫,使用工具为Pycharm。1.R...

2018-01-27 14:39:49 4302 1

原创 Django配置第三方Admin--simpleUI

这个 simpleUI 是用 vue 写的,在django中配置非常简单 1. pip install django-simpleui 2. 在项目的settings.py中的INSTALL_APPS中第一行加入simpleui INSTALLED_APPS = [ '...

2019-05-27 09:38:57 3355 0

原创 Python3爬取有道翻译的两种方法

一. 破解参数加密 有道翻译的请求是post,携带一系列参数,直接F12刷新进行调试,如下图所示: 这是一个 post 请求,目标网址是 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult...

2019-05-26 23:25:41 1537 7

原创 matplotlib的legend参数与设置

以下面代码为例 import matplotlib.pyplot as plt from pylab import mpl mpl.rcParams['font.sans-serif'] = ['SimHei'] # 用来显示中文,不然会乱码 x...

2019-03-05 23:17:03 2966 0

原创 vscode搭建flask报错解决

参考https://segmentfault.com/a/1190000012149680#3-搭建flask项目,结果报了个莫名其妙的错。   项目文件夹   launch.json { // 使用 IntelliSense 了解相关属性。 // 悬停以查看现有...

2018-08-01 12:36:51 2015 0

原创 机器学习之KNN算法

  具体步骤: 计算当前要分类的点与每一个已知分类点的距离。 对结果进行排序。 选取距离最近的k个点。 统计这k个点不同分类出现的频次。 选取频次最高的分类作为当前要分类的点的分类。   以sklearn库自带的iris数据集为例。 获取iris数据集 from sklearn...

2018-07-28 16:17:42 179 0

原创 matplotlib之饼状图

import matplotlib.pyplot as plt labels = 'A', 'B', 'C', 'D' fracs = [35, 20, 45, 10] plt.pie(x=fracs, lab...

2018-07-27 14:35:02 431 0

原创 matplotlib之条形图

import matplotlib.pyplot as plt import numpy as np N = 5 y = [20, 30, 10, 25, 15] index = np.arange(N) plt.bar(left=index, height=y) plt.show() ...

2018-07-26 18:31:19 2439 1

原创 Pandas之iris数据集简单分析

 导出iris数据集 from sklearn import datasets import pandas as np iris_datas = datasets.load_iris() iris_data是一个类似字典的对象。 print(iris_datas.data) # 数...

2018-07-22 11:37:25 7627 2

原创 matplotlib之散点图

  参数 x,y 形如shape(n,)的数组,可选值, s 点的大小(也就是面积)默认20 c 点的颜色或颜色序列,默认蓝色。其它如c = 'r' (red); c = 'g' (green); c = 'k' (bla...

2018-07-21 18:32:41 185 0

原创 django-rest-framework快速入门

Requirementspython3.6django2.0.6工具为pycharmProjectpip install django-rest-framework创建Django项目文件,名为DjangoRestFramework。同步数据库python manage.py migrate创建超...

2018-06-21 16:26:27 564 0

原创 Python3 创建虚拟环境

一:下载virtualenv进入命令行输入pip install virtualenv即可。查看是否下载成功输入virtualenv --version二.虚拟环境的创建与激活创建进入你想创建虚拟环境的文件夹中输入virtualenv env后面的 env 是我的虚拟环境名称,可自取。激活进入en...

2018-04-28 21:10:39 214 0

原创 django + suit 美化admin后台

1.头部信息在 suit/config 里。2.添加,修改和删除以及我的动作在suit/templates/admin/index.html里。

2018-04-05 17:59:26 1136 0

原创 Django+boostrap 美化admin后台

工具:Pycharm,Django1.11.9.1.下载django_admin_bootstrappedpip install django-admin-bootstrapped2.打开django项目目录下的settings.py文件,如图添加内容,必须放在django本身的django.co...

2018-04-05 16:11:43 6941 2

原创 Flask Web开发学习之爬坑(六)

在示例7-2,编写config.py代码时在SQLALCHEMY_COMMIT_ON_TEARDOWN = True后面加一句SQLALCHEMY_TRACK_MODIFICATIONS = False将FLASKY_MAIL_SENDER = 'Flasky Admin &lt...

2018-04-04 15:14:55 293 0

原创 Flask Web开发学习之爬坑(五)

关于第7章 大型程序的结构本章内容是重中之重,是将Flask程序模块化的必经步骤。我的flask项目文件夹名为 FlaskAPP。我的flask程序结构也按照示例7-1来划分。其中的测试模块 tests 忽略不写。1.在FlaskApp下创建app文件夹,config.py 文件与 manage....

2018-04-04 15:10:15 222 0

原创 Flask Web开发学习之爬坑(四)

关于第6章 电子邮件这一章把我坑了好久好久,真的是印象深刻。文章中的示例是通过 goolemail 发送邮件,我把它换成了常用的qq邮箱。本节内容有点多,不过很多都是有用的。示例6-1需要修改app.config['MAIL_SERVER'] = 'smtp.qq.c...

2018-04-03 23:26:49 230 0

原创 Flask Web开发学习之爬坑(三)

关于第4章Web表单在4.2表单一节的示例中,将from wtforms.validators import Required修改为from wtforms.validators import DataRequired然后代码里面的 Required 都要对应修改。from flask.ext.w...

2018-04-03 23:23:26 215 0

原创 Flask Web开发学习之爬坑(一)

Django+xadmin 开发的个人博客: 蓝鲤歌蓝的个人博客工具:Pycharm, win7,Python3.6本系列将Flask Web 开发一书中由于版本更迭等原因产生的坑一一解决,并不会每一步都讲到,只会讲其中会报错或者无须使用的部分拿出来说说,也算是我学习该书的一个总结和爬坑之路的回顾...

2018-04-03 22:36:31 426 1

原创 Flask web开发学习之爬坑(二)

关于Flask扩展:因为版本原因,在书中几乎所有的flask.ext.xxx都可以换成flask_xxx。例:flask.ext.script --> flask_script        flask.ext.bootstrap --> flask_bootstrap...

2018-04-01 13:39:59 267 0

原创 Windows下实现Django + Apache 部署

工具:Django1.11.6,Apache2.4.33Django项目地址:D:\picture第一步:下载与安装Apache选择对应电脑版本下载Apache2.4:下载地址我的是64位win7,所以下载的是第一个。下载完成之后解压到文件夹,进入文件夹的 /Apache24 目录下。第二步:配置...

2018-03-30 16:53:34 14853 4

原创 Django项目运行允许外部访问

将python manage.py runserver改为python manage.py runserver 0.0.0.0:80或者python manage.py runserver 0.0.0.0:8000都可以,然后在你的Django项目的settings.py中设置外网就可以通过你的i...

2018-03-29 14:38:38 5816 1

原创 Windows下安装与配置nginx

第一步:下载稳定版本的nginx :Nginx官方下载地址箭头指向的就是稳定版,上面那个是最新版。第二步:下载完成后解压到一个无中文命名的无空格的文件夹中,我的是E\nginx-1.12.2中进入命令行中输入一下命令你会看到一个一闪而逝的窗口,此时打开浏览器,输入localhost可以看到下图就算...

2018-03-29 13:15:13 202 0

原创 Python3下Django连接Mysql数据库

第一步:打开自己的Django项目,进入到settings.py中,进行如下修改:将Django自带的sqlite3数据库换成Mysql数据库,其中的NAME是数据库名,USER是你的用户名,PASSWORD是你的密码,HOST和PORT一般都是默认的。第二步:如果你在之前安装了Mysqldb或者...

2018-03-28 13:54:16 717 0

原创 Python3 使用PyCharm创建Django项目

打开PyCharm,打开File\New Project选择Django,点击创建,如果你创建了虚拟环境,则选择红线的New envirconment using,否则选择Existing interpreter。,稍微等一下就可以看到创建好的Django项目了。...

2018-03-28 13:39:30 2323 0

原创 Windows Python3.6下安装Scrapy

第一步: pip install wheel   第二步: pip install lxml   如果第二步不成功,则进入https://www.lfd.uci.edu/~gohlke/pythonlibs/网站内按 Ctrl+F 输入 lxml 找到 lxml.whl文件。 ...

2018-03-27 16:48:38 2748 0

原创 Redis (error) NOAUTH Authentication required解决方法

进入 redis.windows.conf 文件中找到requirepass对应的密码,然后在127.0.0.1:6379> auth "yourpassword"   # requirepass对应的密码就可以解决了。github:https://github....

2018-03-27 15:53:44 790 0

原创 Git使用及常见命令

之前下了一次Git没成功,今天终于成功下载Git并将代码上传到github上了。下面记录一下如何使用Git以及Git常见命令,会不定期更新。1.登录git config --global user.name "xxx" # 配置用户名...

2018-03-22 18:41:32 110 0

原创 Git下载及安装

1.进入https://gitforwindows.org/下载git工具,右键属性点击解除锁定后双击运行。2.安装时前面的都可以选择默认,到这里时可以自由选择,我选的是第一个,后面的也选择默认即可。3.进入左下角程序中可以看到Git文件下的工具了,其中Git Bash 即Git 命令行。到此Gi...

2018-03-22 18:38:29 2268 0

原创 matplotlib中文问题与负号显示问题

1.中文显示问题 在代码前加入这两句 from pylab import mpl # import matplotlib as mpl mpl.rcParams['font.sans-serif'] = ['SimHei'] # 用来显示中文,不...

2018-03-22 10:26:29 365 1

原创 matplotlib之折线图

工具:Pycharm   import matplotlib.pyplot as plt plt.plot([1, 2, 3, 4], [2, 1, 5, 6]) # x轴为[1, 2, 3, 4], y轴为[2, 1, 5, 6] plt.show()   一图多折线与同时绘图...

2018-03-22 10:17:09 2308 1

原创 数据结构

一.二叉树 性质1 第i层至多有2**(n-1)个结点(i>=1) 可用数学归纳法证。 性质2 深度为k的二叉树至多有2**k-1个结点。(k>=1) 性质3 对任何一颗二叉树,设其终端结点数为n0,度为2的结点数为n2,则 n0 = n2 + 1。...

2018-03-21 20:12:25 75 0

原创 CSDN正确使用Markdown编辑器写博客

欢迎使用Markdown编辑器写博客 本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文...

2018-03-21 19:58:54 494 0

原创 Python之八大排序算法实现

排序算法   一.快速排序 # 递归有返回 def Qsort(L): if len(L) <= 1: return L return Qsort([low for low in L[1:] if low < L[0]]) + L[0:1]+...

2018-03-19 19:12:16 297 0

原创 Flask+pyecharts实现可视化

# 2018/8/1日更改(因为pyecharts进行了更新) 1.创建一个Flask项目,在其下新建一个templates文件夹。   2.在templates下创建pyecharts.html文件,编写 <!DOCTYPE html> <...

2018-03-19 19:03:47 572 0

原创 Python3之拉钩数据可视化

工具:Pycharm,Navicat将前段时间使用爬虫获取的数据进行可视化分析。于2018/3/18增加职位词云一.统计数据import pymysql db = pymysql.connect(host='127.0.0.1', port=3306, user='...

2018-03-15 16:36:26 643 5

提示
确定要删除当前文章?
取消 删除