Dumbliidore-CSDN博客

原创 Python爬取拉勾网招聘信息存入数据库

先抓包分析我们想要获取的数据，很明显都是动态数据，所以直接到Network下的XHR里去找，这里我们找到具体数据后，就要去寻分析求地址与请求信息了。还有需要提交的表单信息分析完毕之后，我们就可以开始写我们的爬虫项目了。一.编写Itemitem编写比较简单# 拉钩职位信息class LagouItem(scrapy.Item): # 城市 city = scrapy.Field()...

2018-03-12 23:21:02 2928 2

原创 Python3 +Scrapy 爬取腾讯控股股票信息存入数据库中

目标网站：http://quotes.money.163.com/hkstock/cwsj_00700.html每支股票都有四个数据表找到这四个数据表的信息所在数据名第一条到第三条数据所在其他三个表也是这样子寻找，找到数据后，就可以动手爬取了。于2018\3\17 重写。一.Item# 腾讯控股股票信息class GupiaoItem(scrapy.Item): # 数据标题 t...

2018-03-08 11:47:43 2285

原创 Python3 + Scrapy 爬取豆瓣评分数据存入Mysql与MongoDB数据库。

首先我们先抓包分析一下，可以看到我们想要的每一页的全部数据都在"article"下。而其中每一部的电影的数据可以看到在"info"下。所以我们只要在info下找到自己的目标数据并想好匹配方法即可，本文使用的是xpath，其实也可以在spiders中导入pyquery或者BeautifulSoup来进行匹配，当然正则也是可以的。现在我们去找到目标数据。这些便是我们的目标数据，接下来便可以动手爬取了。...

2018-02-19 20:34:36 2805

原创 Python3 + selenium自动登录QQ空间

使用selenium+Python+webdriver# 登录qq空间from selenium import webdriverimport timebrowser = webdriver.Chrome()browser.get('https://qzone.qq.com/')browser.switch_to_frame("login_frame")time.sleep(0.5)...

2018-02-18 20:13:18 4765

原创 Python3爬虫实战（urllib模块）

2018.01.27 。我的第一篇博客。在自学Python的过程中,爬虫是我学的最有趣的一个方面，现在我把学习爬虫的总结展示出来。学Python爬虫中，第一个接触的模块就是urllib，下面我将通过实战教学告诉大家如何使用urllib中的request模块构造爬虫，使用工具为Pycharm。1.Requesturllib.request.Request(url, data=None, header...

2018-01-27 14:39:49 7588 1

原创 Django配置第三方Admin--simpleUI

这个 simpleUI 是用 vue 写的，在django中配置非常简单1.pip install django-simpleui2.在项目的settings.py中的INSTALL_APPS中第一行加入simpleuiINSTALLED_APPS = [ 'simpleui', 'django.contrib.admin', ....]3....

2019-05-27 09:38:57 6278 4

原创 Python3爬取有道翻译的两种方法

一. 破解参数加密有道翻译的请求是post，携带一系列参数，直接F12刷新进行调试，如下图所示：这是一个 post 请求，目标网址是'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'接下来让我们看看发送该请求需要携带哪些参数如图所示，红色方框里的就是需要携带的参数了。...

2019-05-26 23:25:41 4512 9

原创 matplotlib的legend参数与设置

以下面代码为例import matplotlib.pyplot as pltfrom pylab import mplmpl.rcParams['font.sans-serif'] = ['SimHei'] # 用来显示中文，不然会乱码x = range(4)y = [120, 200, 250, 600]plt.bar(x=x, height=y, color='r',...

2019-03-05 23:17:03 11301 1

原创 vscode搭建flask报错解决

参考https://segmentfault.com/a/1190000012149680#3-搭建flask项目，结果报了个莫名其妙的错。项目文件夹 launch.json{ // 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。 // 欲了解更多信息，请访问: https://go.microsoft.com...

2018-08-01 12:36:51 3709

原创机器学习之KNN算法

具体步骤：计算当前要分类的点与每一个已知分类点的距离。对结果进行排序。选取距离最近的k个点。统计这k个点不同分类出现的频次。选取频次最高的分类作为当前要分类的点的分类。以sklearn库自带的iris数据集为例。获取iris数据集from sklearn import datasetsimport pandas as pdfrom collecti...

2018-07-28 16:17:42 667

原创 matplotlib之饼状图

import matplotlib.pyplot as pltlabels = 'A', 'B', 'C', 'D'fracs = [35, 20, 45, 10]plt.pie(x=fracs, labels=labels)plt.show()圆形饼图import matplotlib.pyplot as pltlabels = 'A', 'B', 'C', ...

2018-07-27 14:35:02 1054

原创 matplotlib之条形图

import matplotlib.pyplot as pltimport numpy as npN = 5y = [20, 30, 10, 25, 15]index = np.arange(N)plt.bar(left=index, height=y)plt.show()调整颜色与宽度plt.bar(left=index, height=y, color='red...

2018-07-26 18:31:19 3407 1

原创 Pandas之iris数据集简单分析

导出iris数据集from sklearn import datasetsimport pandas as npiris_datas = datasets.load_iris()iris_data是一个类似字典的对象。print(iris_datas.data) # 数据集中的数据print(iris_datas.target_name) # iris的种类...

2018-07-22 11:37:25 18729 5

原创 matplotlib之散点图

参数x,y 形如shape(n,)的数组，可选值， s 点的大小（也就是面积）默认20 c 点的颜色或颜色序列，默认蓝色。其它如c = 'r' (red); c = 'g' (green); c = 'k' (black) ; c = 'y'(yellow) marker 形状，可选值，默认是圆 ...

2018-07-21 18:32:41 410

原创 django-rest-framework快速入门

Requirementspython3.6django2.0.6工具为pycharmProjectpip install django-rest-framework创建Django项目文件，名为DjangoRestFramework。同步数据库python manage.py migrate创建超级用户python manage.py createsuperuser创建apppython mana...

2018-06-21 16:26:27 962

原创 Python3 创建虚拟环境

一：下载virtualenv进入命令行输入pip install virtualenv即可。查看是否下载成功输入virtualenv --version二.虚拟环境的创建与激活创建进入你想创建虚拟环境的文件夹中输入virtualenv env后面的 env 是我的虚拟环境名称，可自取。激活进入env/Scripts下输入activate或activate.bat退出进入env/Scripts下输入...

2018-04-28 21:10:39 546

原创 django + suit 美化admin后台

1.头部信息在 suit/config 里。2.添加，修改和删除以及我的动作在suit/templates/admin/index.html里。

2018-04-05 17:59:26 1681

原创 Django+boostrap 美化admin后台

工具：Pycharm，Django1.11.9.1.下载django_admin_bootstrappedpip install django-admin-bootstrapped2.打开django项目目录下的settings.py文件，如图添加内容，必须放在django本身的django.contrib.admin前面。3.运行项目，通过浏览器打开页面，即可看到美化后的admin后台了。将后台...

2018-04-05 16:11:43 8730 2

原创 Flask Web开发学习之爬坑（六）

在示例7-2，编写config.py代码时在SQLALCHEMY_COMMIT_ON_TEARDOWN = True后面加一句SQLALCHEMY_TRACK_MODIFICATIONS = False将FLASKY_MAIL_SENDER = 'Flasky Admin <flasky@example.com>'FLASKY_ADMIN = os.environ.get('FLAS...

2018-04-04 15:14:55 582

原创 Flask Web开发学习之爬坑（五）

关于第7章大型程序的结构本章内容是重中之重，是将Flask程序模块化的必经步骤。我的flask项目文件夹名为 FlaskAPP。我的flask程序结构也按照示例7-1来划分。其中的测试模块 tests 忽略不写。1.在FlaskApp下创建app文件夹，config.py 文件与 manage.py 文件，将templates文件夹和static文件夹放入app文件夹下。2.在app文件夹下创建...

2018-04-04 15:10:15 462

原创 Flask Web开发学习之爬坑（四）

关于第6章电子邮件这一章把我坑了好久好久，真的是印象深刻。文章中的示例是通过 goolemail 发送邮件，我把它换成了常用的qq邮箱。本节内容有点多，不过很多都是有用的。示例6-1需要修改app.config['MAIL_SERVER'] = 'smtp.qq.com' # qq邮箱 app.config['MAI...

2018-04-03 23:26:49 533

原创 Flask Web开发学习之爬坑（三）

关于第4章Web表单在4.2表单一节的示例中，将from wtforms.validators import Required修改为from wtforms.validators import DataRequired然后代码里面的 Required 都要对应修改。from flask.ext.wtf import Form改为from flask_wtf import FlaskForm关于第5...

2018-04-03 23:23:26 1124

原创 Flask Web开发学习之爬坑（一）

Django+xadmin 开发的个人博客：蓝鲤歌蓝的个人博客工具：Pycharm， win7，Python3.6本系列将Flask Web 开发一书中由于版本更迭等原因产生的坑一一解决，并不会每一步都讲到，只会讲其中会报错或者无须使用的部分拿出来说说，也算是我学习该书的一个总结和爬坑之路的回顾，希望大家参照该书来一步步跟进。本系列源码将会上传到github上，觉得可以的小伙伴，欢迎点击右上角的...

2018-04-03 22:36:31 734 1

原创 Flask web开发学习之爬坑（二）

关于Flask扩展：因为版本原因，在书中几乎所有的flask.ext.xxx都可以换成flask_xxx。例：flask.ext.script --> flask_script flask.ext.bootstrap --> flask_bootstrap这些flask扩展模块都可以通过命令行使用 pip 下载。虽然不换可能不会报错，但是换了肯定不会报错，后面还有一些模块...

2018-04-01 13:39:59 572

原创 Windows下实现Django + Apache 部署

工具：Django1.11.6，Apache2.4.33Django项目地址：D:\picture第一步：下载与安装Apache选择对应电脑版本下载Apache2.4：下载地址我的是64位win7，所以下载的是第一个。下载完成之后解压到文件夹，进入文件夹的 /Apache24 目录下。第二步：配置Apache打开 conf/httpd.conf 文件，进行一些修改。ServerRoot "E:\h...

2018-03-30 16:53:34 19300 4

原创 Django项目运行允许外部访问

将python manage.py runserver改为python manage.py runserver 0.0.0.0:80或者python manage.py runserver 0.0.0.0:8000都可以，然后在你的Django项目的settings.py中设置外网就可以通过你的ip地址来访问你的网址了。如果不知道自己电脑的ip地址打开命令行输入ipconfig...

2018-03-29 14:38:38 9071 3

原创 Windows下安装与配置nginx

第一步：下载稳定版本的nginx ：Nginx官方下载地址箭头指向的就是稳定版，上面那个是最新版。第二步：下载完成后解压到一个无中文命名的无空格的文件夹中，我的是E\nginx-1.12.2中进入命令行中输入一下命令你会看到一个一闪而逝的窗口，此时打开浏览器，输入localhost可以看到下图就算安装配置成功了。...

2018-03-29 13:15:13 797

原创 Python3下Django连接Mysql数据库

第一步：打开自己的Django项目，进入到settings.py中，进行如下修改：将Django自带的sqlite3数据库换成Mysql数据库，其中的NAME是数据库名，USER是你的用户名，PASSWORD是你的密码，HOST和PORT一般都是默认的。第二步：如果你在之前安装了Mysqldb或者mysqlclient，那么在做好第一步之后就可以直接进行数据库连接了，运行Run manage.py...

2018-03-28 13:54:16 1163

原创 Python3 使用PyCharm创建Django项目

打开PyCharm，打开File\New Project选择Django，点击创建，如果你创建了虚拟环境，则选择红线的New envirconment using，否则选择Existing interpreter。，稍微等一下就可以看到创建好的Django项目了。...

2018-03-28 13:39:30 2852

原创 Windows Python3.6下安装Scrapy

第一步：pip install wheel 第二步:pip install lxml 如果第二步不成功，则进入https://www.lfd.uci.edu/~gohlke/pythonlibs/网站内按 Ctrl+F 输入 lxml 找到 lxml.whl文件。其中 lxml-4.2.1 是模块版本， cp27 是所支持的Python版本，win32是支持电脑...

2018-03-27 16:48:38 3569

原创 Redis (error) NOAUTH Authentication required解决方法

进入 redis.windows.conf 文件中找到requirepass对应的密码，然后在127.0.0.1:6379> auth "yourpassword" # requirepass对应的密码就可以解决了。github：https://github.com/BlueMrD/...

2018-03-27 15:53:44 1402

原创 Git使用及常见命令

之前下了一次Git没成功，今天终于成功下载Git并将代码上传到github上了。下面记录一下如何使用Git以及Git常见命令，会不定期更新。1.登录git config --global user.name "xxx" # 配置用户名 git config --global user.email "xxx@xxx.com" #...

2018-03-22 18:41:32 304

原创 Git下载及安装

1.进入https://gitforwindows.org/下载git工具，右键属性点击解除锁定后双击运行。2.安装时前面的都可以选择默认，到这里时可以自由选择，我选的是第一个，后面的也选择默认即可。3.进入左下角程序中可以看到Git文件下的工具了，其中Git Bash 即Git 命令行。到此Git下载安装完成。...

2018-03-22 18:38:29 4505

原创 matplotlib中文问题与负号显示问题

1.中文显示问题在代码前加入这两句from pylab import mpl # import matplotlib as mplmpl.rcParams['font.sans-serif'] = ['SimHei'] # 用来显示中文，不然会乱码例如import matplotlib.pyplot as pltfrom pylab import mpl...

2018-03-22 10:26:29 968 1

原创 matplotlib之折线图

工具：Pycharm import matplotlib.pyplot as pltplt.plot([1, 2, 3, 4], [2, 1, 5, 6]) # x轴为[1, 2, 3, 4], y轴为[2, 1, 5, 6]plt.show() 一图多折线与同时绘图import matplotlib.pyplot as pltplt.figure(1)p...

2018-03-22 10:17:09 2751 1

原创数据结构

一.二叉树性质1 第i层至多有2**（n-1）个结点(i>=1) 可用数学归纳法证。性质2 深度为k的二叉树至多有2**k-1个结点。（k>=1）性质3 对任何一颗二叉树，设其终端结点数为n0，度为2的结点数为n2，则 n0 = n2 + 1。...

2018-03-21 20:12:25 208

原创 CSDN正确使用Markdown编辑器写博客

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...

2018-03-21 19:58:54 1048

原创 Python之八大排序算法实现

排序算法一.快速排序# 递归有返回def Qsort(L): if len(L) <= 1: return L return Qsort([low for low in L[1:] if low < L[0]]) + L[0:1]+ \ Qsort([high for high in L[1:] if high >= L[0]])...

2018-03-19 19:12:16 465

原创 Flask+pyecharts实现可视化

# 2018/8/1日更改（因为pyecharts进行了更新）1.创建一个Flask项目，在其下新建一个templates文件夹。 2.在templates下创建pyecharts.html文件，编写<!DOCTYPE html><html><head> <meta charset="utf-8"> &lt...

2018-03-19 19:03:47 1896

原创 Python3之拉钩数据可视化

工具：Pycharm，Navicat将前段时间使用爬虫获取的数据进行可视化分析。于2018/3/18增加职位词云一.统计数据import pymysqldb = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='你的密码', db='你的数据库名', charset='utf8')cursor = db.cu...

2018-03-15 16:36:26 930 5

空空如也

空空如也