python
植与恋恋
敲代码呀,加油敲代码啊
展开
-
Python中Scrapy的使用
创建Scrapy项目:在cmd命令中一次输入一下内容 :scrapy startproject 项目名cd 项目名scrapy genspider 文件名 网址(去掉http://)运行文件:在cmd命令中输入:scrapy crawl 文件名或者在工程下新建一个文件,加入一下代码:import osimport sysfrom scrapy.cmdlin...原创 2018-08-11 08:59:18 · 844 阅读 · 0 评论 -
数据分析之numpy实例
我在这里写了分析2013年北京城市污染情况,源文件我已经上传了,网址:[https://download.csdn.net/download/li_peipei/10709535],如果没有下载币的可以私聊我给你。import numpy as np#注释部分是我将原来的数据删除缺省值,因为for循环运行很耽误时间#所以运行一次后就保存在了另外的文件中,接下来的代码就操作另外的文件# a=...原创 2018-10-09 20:39:02 · 2833 阅读 · 4 评论 -
数据分析之numpy的使用
创建数组:初始化数组:print(numpy.array([1,2,3,4,5])print(numpy.array(range(1,6)))print(numpy.arange(0,15).reshape(3,5))print(numpy.linspace(0,2,9))#从零到二之间取9个数print(numpy.zeros([2,3]))#两行三列的0print(numpy.o...原创 2018-10-09 20:13:14 · 377 阅读 · 0 评论 -
python基础之寻找相同的文件
整体思路:首先是循环遍历文件夹下的文件;通过建立字典:key:文件内容的哈希值,value:文件名遇到一个文件,得到哈希值,并比较是否在字典中存在,如果存在就输出文件名,,否则加入字典# -*- coding: utf-8 -*-import osimport fnmatchimport hashlibdef is_file_match(filename, patterns): ...原创 2018-09-29 17:27:47 · 784 阅读 · 0 评论 -
python基础之循环遍历文件夹
os.walk()的使用:os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]])os.walk()会产生一个三元组:(文件夹路径,文件夹名字,文件名)os.walk 的返回值是一个生成器(generator),也就是说我们需要不断的遍历它,来获得所有的内容。每次遍历的对象都是返回的是一个三元组(root,dirs...原创 2018-09-29 15:28:47 · 3597 阅读 · 0 评论 -
数据分析之可视化——matplotlib的使用
官方文档:https://matplotlib.org/users/pyplot_tutorial.html使用使用方法:from matplotlib import pyplot as pltx=range(2,26,2)y=[15,13,14.5,17,20,25,26,26,27,22,18,15]#折线图plt.plot(x,y)#散点图#plt.scatter(x,y)...原创 2018-10-08 17:41:23 · 797 阅读 · 0 评论 -
Django入门
准备工作下载django:pip install django环境配置:找到:...\Lib\site-packages\django和...\Scripts(一般是在安装Python的目录下)添加到环境变量中Path下创建Django项目在cmd命令行中输入:旧版django-admin.py startproject 项目名(HelloWorld)如果上一个不成...原创 2018-09-10 21:02:19 · 224 阅读 · 0 评论 -
Django的一个小实例
1.Mysql数据库:Django规定,如果要使用模型,必须要创建一个app。我们使用以下命令创建一个 TestModel 的 app:django-admin startapp UserModel这个是和下面的配置文件setting.py中添加的名字相匹配要提前建好user数据库修改setting文件INSTALLED_APPS = [ 'django....原创 2018-09-10 19:44:38 · 587 阅读 · 0 评论 -
python web开发之Flask框架
准备工作安装pip/conda install flaskpip/conda install flask-wtfpip/conda install flask-bootstrappip/conda install flask-sqlalchemypip/conda install flask-scriptpip/conda install flask-loginFl...原创 2018-09-17 20:08:18 · 399 阅读 · 0 评论 -
python数据结构之二叉树
这里用python 实现了二叉树# Definition for a binary tree node.class TreeNode: def __init__(self, x): self.val = x self.left = None self.right = Noneclass Tree: def __init__(...原创 2018-09-11 20:45:16 · 339 阅读 · 0 评论 -
python学习之爬取网页技术
这里介绍三种基本的爬取网页的技术urllib、requests、selenium爬取网页时,会遇到各种不同的情况:有的网页是带有反爬虫机制的,而且有的需要登录后才能爬取,下面通过urllib的用法依次介绍各种各种情况:首次是简单的爬取:import urllib.requesturl="https://www.csdn.net/"response=urllib.request.ur...原创 2018-08-25 10:28:22 · 565 阅读 · 0 评论 -
python中scrapy的使用之设置消息头和更改ip
爬取一些网页时往往会出现不能爬取的现象,这就需要我们自己设置消息头,将其伪装成浏览器。过多的爬取一个网站,该网站的反爬虫技术会将我们block,z这是需要更换ip.修改middleswares文件:from scrapy import signalsimport random# 第三方框架,可以产生各种headersfrom fake_useragent import UserAg...原创 2018-08-25 10:53:59 · 1848 阅读 · 0 评论 -
python中Scrapy实战之爬取网页并保存为json文件
创建spider文件Bookchina.py:import scrapyfrom scrapy import Requestfrom MyScrapy.items import BookChinaclass BookchinaSpider(scrapy.Spider): name = 'Bookchina' #allowed_domains = ['blog.jobb...原创 2018-08-13 10:25:34 · 2261 阅读 · 1 评论 -
python中scrapy的使用之实战爬取网页并保存图片
首先创建scrapy项目MyScrapy新建jobbole.py文件# -*- coding: utf-8 -*-import scrapyfrom scrapy import Requestimport refrom MyScrapy.items import MyscrapyItemclass JobboleSpider(scrapy.Spider): name ...原创 2018-08-11 16:39:52 · 1063 阅读 · 0 评论 -
linux下将python2改为python3
我用的是centos7Linux安装python3.6.4环境准备:yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel安装python(默认下载到当前目录):wget https://www.python.org/ftp/python/3.6.4/Python-...原创 2019-01-15 19:07:42 · 789 阅读 · 0 评论