Python3.X
自律使我自由
SunWuKong_Hadoop
人和人之间的能力是在8小时之外拉开的。
Notoriously torture the data until it confessed
展开
-
python3
人生苦短学习网站1.python基础:廖雪峰2.python数据分析基础:每天进步一点点学习笔记序号 包名 序号 功能 函数 测试语句 详细用法 参数详解 扩展用法 学习时间 截图1 pandas 1 数据去重 "duplicated()drop_duplicates()" "import pandas as pddata =pd.DataFrame({'name':['LIU','LI','WA...原创 2017-12-19 17:29:15 · 444 阅读 · 0 评论 -
python画图之散点图scatter函数详解
原文地址:http://blog.csdn.net/u013634684/article/details/496463111、scatter函数原型2、其中散点的形状参数marker如下:3、其中颜色参数c如下:4、基本的使用方法如下:[python] view plain copy#导入必要的模块 import numpy as np import matplotlib.pyplot as ...转载 2018-02-23 11:12:04 · 2715 阅读 · 0 评论 -
python读取excel中表结构生成sql语句,存入txt文件
python-excel-sql-txt#coding=utf-8from openpyxl import load_workbook#读取excel的数据def read_excel(): #打开一个workbook wb = load_workbook(filename='data4.xlsx') #获取所有表格(worksheet)的名字 sheets ...原创 2018-03-09 11:21:54 · 3588 阅读 · 0 评论 -
python校验社会统一信用代码
# -*- coding: utf-8 -*-import pandas as pdimport numpy as npimport pymysqlSOCIAL_CREDIT_CHECK_CODE_DICT = { '0':0,'1':1,'2':2,'3':3,'4':4,'5':5,'6':6,'7':7,'8':8,'9':9, ...原创 2018-03-09 11:22:42 · 1670 阅读 · 0 评论 -
python3 校验社会统一信用代码
# -*- coding: utf-8 -*-import pandas as pdimport numpy as npimport pymysqlSOCIAL_CREDIT_CHECK_CODE_DICT = { '0':0,'1':1,'2':2,'3':3,'4':4,'5':5,'6':6,'7':7,'8':8,'9':9, ...原创 2018-04-19 16:41:29 · 680 阅读 · 0 评论 -
Python的list循环遍历中,删除数据的正确方法
Python的list循环遍历中,删除数据的正确方法初学Python,遇到过这样的问题,在遍历list的时候,删除符合条件的数据,可是总是报异常,代码如下:num_list = [1, 2, 3, 4, 5]print(num_list)for i in range(len(num_list)): if num_list[i] == 2: num_list.pop(i...转载 2018-04-23 10:31:24 · 517 阅读 · 0 评论 -
Python3 正则表达式 re
Python3 正则表达式 re常用的功能函数包括:compile、search、match、split、findall(finditer)、sub(subn)1.compilere.compile(pattern[, flags])作用:把正则表达式语法转化成正则表达式对象flags定义包括:re.I:忽略大小写re.L:表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前...转载 2018-04-24 18:36:59 · 348 阅读 · 0 评论 -
python commands模块在python3.x被subprocess取代
subprocess可以执行shell命令的相关模块和函数有:os.systemos.spawnos.popen --废弃popen2.* --废弃commands.* --废弃,3.x中被移除import commandsresult = commands.getoutput('cmd') #只返回执行的结果, 忽略返回值.result = commands.ge...转载 2018-04-25 10:29:26 · 925 阅读 · 0 评论 -
Python3 logging详解
Python3中logging详解官方文档中,logging的5个层级:实例代码:def logs(time,prov,type): log_name = prov+'_'+time file = ("/home/hjpt/log/cdr/comm_data_deal_logs/%s/" % (type))+log_name+'.log' logging.basicConf...转载 2018-04-26 12:02:12 · 14006 阅读 · 0 评论 -
Python3 正则表达式
正则表达式模式模式描述^匹配字符串的开头$匹配字符串的末尾。.匹配任意字符,除了换行符,当re.DOTALL标记被指定时,则可以匹配包括换行符的任意字符。[...]用来表示一组字符,单独列出:[amk] 匹配 'a','m'或'k'[^...]不在[]中的字符:[^abc] 匹配除了a,b,c之外的字符。re*匹配0个或多个的表达式。re+匹配1个或多个的表达式。re?匹配0个或1个由前面的正则表...转载 2018-04-26 16:44:26 · 290 阅读 · 0 评论 -
python3 拼接并批量生成sql
#coding=utf-8from openpyxl import load_workbook#读取excel的数据def read_excel(): #打开一个workbook wb = load_workbook(filename='data4.xlsx') #获取所有表格(worksheet)的名字 sheets = wb.get_sheet_names...原创 2018-04-27 17:10:50 · 2755 阅读 · 1 评论 -
python3 deque(双向队列)
创建双向队列import collectionsd = collections.deque()append(往右边添加一个元素)import collectionsd = collections.deque()d.append(1)d.append(2)print(d)#输出:deque([1, 2])appendleft(往左边添加一个元素)import collectionsd...转载 2018-05-02 18:12:59 · 262 阅读 · 0 评论 -
Python super(钻石继承)
1. Python的继承以及调用父类成员python子类调用父类成员有2种方法,分别是普通方法和super方法假设Base是基类class Base(object): def __init__(self): print “Base init”则普通方法如下class Leaf(Base): def __init__(sel...转载 2018-05-03 09:31:23 · 6441 阅读 · 1 评论 -
python3 词云
from wordcloud import WordCloud,ImageColorGeneratorfrom PIL import Imageimport jiebaimport numpy as npimport matplotlib.pyplot as plttext = open(r'D:\python\test\wordcloud\data\jay.txt',encoding=...原创 2018-05-09 15:50:54 · 698 阅读 · 0 评论 -
python3 线性回归
import pandas as pdimport numpy as npimport statsmodels.formula.api as smf# from sklearn.cross_validation import train_test_splitfrom sklearn.model_selection import train_test_splitfrom sklearn.m...转载 2018-05-09 15:52:13 · 628 阅读 · 0 评论 -
python3 线性回归验证
#-*- coding: utf-8 -*-import pandas as pdimport numpy as npfrom patsy.highlevel import dmatrices#2.7里面是from patsy import dmatricesfrom statsmodels.stats.outliers_influence import variance_inflati...转载 2018-05-09 15:53:04 · 2277 阅读 · 0 评论 -
python3 线性回归检验2
#====图示法完成方差齐性的判断=====#标准化残差与预测值之间的散点图plt.scatter(fit2.predict(),(fit2.resid-fit2.resid.mean())/fit2.resid.std())plt.xlabel('预测值')plt.ylabel('标准化残差')#添加水平参考线plt.axhline(y = 0,color = 'r',linewid...转载 2018-05-09 15:54:00 · 2465 阅读 · 0 评论 -
python3 数据分析基础
笔记:原创 2018-05-09 15:55:24 · 279 阅读 · 0 评论 -
python3 基础
原创 2018-05-09 16:33:26 · 174 阅读 · 0 评论 -
Python3 计算空气质量指数AQI
#coding=utf-8import pymysqlcon = pymysql.connect(host = 'localhost',port = 3306,user = 'root',passwd = 'root',db = 'lqioc_ioc_yw',charset = 'utf8')cur = con.cursor()#连接数据库pollutant3 = {'S...原创 2018-05-23 19:15:40 · 4560 阅读 · 1 评论 -
python脚本和shell脚本的适用场景
shell 应该属于宏语言,顾名思义是系统的壳,方便与系统交互的在以下情况下,不使用shell,因为shell对此无能为力;如:跨平台,较复杂数学操作(如浮点运算,较精确运算等),图形化界面 GUI,I/O 或socket 接口,多维数组,对效率要求很高等。Python可以调用图形库,可以直接做网络应用,甚至直接嵌入其它语言,跨平台;shell就是和系统结合得比较紧密,其内部数据处理方面,...转载 2018-06-14 20:23:50 · 4760 阅读 · 3 评论 -
windows下MongoDB的安装及配置
一、先登录Mongodb官网https://www.mongodb.com/download-center#community 下载 安装包。32、64位的都行。二、安装MongoDB下载后的安装包:安装比较简单,类似于普通QQ软件,中间主要是选择“Custom”自定义 安装路径修改下:D:\software\MongoDB然后不断“下一步”,安装至结束。安装比较容易。难点在启动Mongodb...转载 2018-07-13 13:25:47 · 294 阅读 · 0 评论 -
python3 urllib.request.urlopen() 地址打开错误
错误内容:UnicodeEncodeError: 'ascii' codec can't encode characters in position 28-29: ordinal not in range(128)1.以为是代码错误,检查tab符,并没有问题,2.将代码粘贴到空白项目中去,发现还是不对。3.百度:http://blog.csdn.net/olanlanxiari/art...转载 2018-07-19 14:57:48 · 1576 阅读 · 0 评论 -
百度poi爬取_mongo和txt各存一份_python3.6
直接上代码:# -*- coding: utf-8 -*-# Python 3# 提取城市的POI点信息并将其保存至MongoDB数据库import urllib.requestimport jsonfrom pymongo import MongoClientfrom urllib.parse import quoteimport stringleft_bottom = ...原创 2018-07-20 09:56:25 · 663 阅读 · 2 评论 -
跟我一起学python3之--基础语法
基础篇为依据廖雪峰老师网站学习思路边敲代码边整理的详细内容原创 2018-09-04 15:52:43 · 153 阅读 · 0 评论 -
python3爬虫 链接+表格+图片 思路
左侧部门列表每点击一次都有一个新的js网页出现,Request URL可以明确看出网址,且每个网址都有其规律:点击了三个部门,返回的网址如下,可以看出是有规律的,此处deptid正是对应于下图中的<span>内容:这种倒推的思路,首先要做的就是部门的id提取出来,然后匹配成Request URL去获取js页,需要的id就在下面:<li>&...原创 2018-09-14 13:47:29 · 1093 阅读 · 1 评论 -
如何解决from lxml import etree报红的问题
这个主要是针对在Windows上运行pycharm,lxml和etree下面都报红的问题,自己解决了二个小时研究出来的。原因:主要是lxml没有这个包的问题,需要安装下: 1.需要在https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 下选择你和你对应的pytthon对应的版本2.cmd,pip install +版本 3.重启pycha...转载 2018-09-14 13:49:24 · 2285 阅读 · 0 评论 -
python爬虫之定位网页元素的三种方式
在做爬虫的过程中,网页元素的定位是比较重要的一环,本文总结了python爬虫中比较常用的三种定位网页元素的方式。1.普通的BeautifulSoup find系列操作2.BeautifulSoup css选择器3. xpath这三种方式灵活运用,再配合上正则表达式,没有什么网页能难倒你啦。我们以获取豆瓣电影top250第一页的电影标题为例来比较:import reques...转载 2018-09-14 15:54:54 · 2539 阅读 · 0 评论 -
在python 中如何将 list 转化成 字典(dictionary)
问题1:如何将一个list转化成一个dictionary?问题描述:比如在python中我有一个如下的list,其中奇数位置对应字典的key,偶数位置为相应的value 解决方案:1.利用zip函数实现 2.利用循环来实现 3.利用 enumerate 函数生成index来实现 问题2 我们如何将两个list 转化成一个dictionary?...转载 2018-09-20 11:16:29 · 3526 阅读 · 0 评论 -
python 四种方法删除列表里所有空格项
直接放最好的方法,下面这种才最符合python的优雅和效率! list1 = [x for x in list1 if x != '']思考过程:首先,我们来随便写一个带空格的列表:list1 = ['122','2333','3444',' ','422',' ',' ','54',' ']1相信已经有人尝试过,诸如以下的方式去删掉空格,例如:# -*- codi...转载 2018-09-21 10:23:27 · 6276 阅读 · 1 评论 -
python3 爬取网页表格例子
很简洁明了的爬虫例子,分享给大家#网址如下:http://www.maigoo.com/news/463071.htmlfrom bs4 import BeautifulSoup import requests import csv import bs4 #检查url地址 def chec...转载 2018-09-21 10:35:50 · 2552 阅读 · 0 评论 -
python3爬虫 链接+表格+图片(本地+csv存储)
# -*- coding: utf-8 -*-import urllib.requestimport http.cookiejarfrom bs4 import BeautifulSoupimport requestsimport csvimport timeimport reimport urllibfrom urllib.parse import quoteimport ...原创 2018-09-27 17:29:29 · 3197 阅读 · 0 评论 -
python3爬虫 链接+表格+图片(本地+csv+mongodb存储)
# -*- coding: utf-8 -*-import requestsfrom bs4 import BeautifulSoupimport reimport csvimport timefrom pymongo import MongoClientclient = MongoClient('localhost',27017)db = client.admin db.a...原创 2018-09-30 17:44:34 · 410 阅读 · 0 评论