![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
super_hong
这个作者很懒,什么都没留下…
展开
-
2020-12-25
在python中写sql语句需要注意的问题可以用于检查因sql语句错误而报错的python1.断行的情况需要以\结尾2.不能有空行空行也需要以\结尾3.每行前面都要有空格4原创 2020-12-25 11:40:59 · 132 阅读 · 0 评论 -
2020-12-25
1.写目标sql2.python连接数据库,并运行sql,sql运行结果保存为excel格式存储在目标文件夹下3.发件人、收件人信息4.发送邮件原创 2020-12-25 11:36:01 · 109 阅读 · 0 评论 -
python可视化图表
import matplotlib.pyplot as pltimport numpy as np#没有以下两句,就不会显示中文,识别不出来plt.rcParams['font.sans-serif']=['SimHei']plt.rcParams['axes.unicode_minus'] = Falseplt.subplot(1,1,1)x=np.array([1,2,3,4,5,6,7,8,9])y=np.array([886,2335,5710,6482,6120,1605,3813原创 2020-09-01 17:26:39 · 1562 阅读 · 0 评论 -
数据清洗
1.数据概况df.info()2.判断数据的缺失情况df.isnull():返回布尔值true1 false0df.isnull().sum():返回每个字段缺失值的数量df.isnull().any():返回哪些列有缺失值3.缺失值处理:删、补、不处理根据缺失值的分布将缺失值分为:完全随机缺失:对其他变量无影响:eg:家庭住址随机缺失:非随机缺失:高收入对于随机缺失和非随机缺失,不可以直接删除。删 :除非数据量非常大,否则不建议直接删除df.dropna(how=‘any’)原创 2020-08-10 16:12:39 · 141 阅读 · 0 评论 -
python将文件夹中所有文件合并成一个csv文件
背景文件夹2019 的文件为csv文件,文件夹2020的文件为excel文件目的将两个文件夹中所有的文件合并成一个表格,以便进行后续的数据分析反思因为是不同的文件格式,只能将文件分成两个文件夹,分两次遍历文件。步骤a:先遍历excel2020文件夹所有的文件,合并一个csv表至2019文件夹b:遍历2019文件夹所有的文件名,合并csv终表。#合并数据到Alldata文件夹下的Alldata文件import osimport pandas as pdimport numpy as n原创 2020-08-10 14:33:19 · 3247 阅读 · 1 评论 -
网络爬虫与信息提取--正则表达式之实际案例--股票数据定向爬虫
目标:获取上交所和深交所所有股票的名称和交易信息输出:保存到文件中技术路线:requests-bs4-re网站选取的原则:股票信息静态存在于html中,非js代码生成 没有robots协议限制方法:F12 源代码查看等心态:多找信息源尝试...原创 2019-09-16 13:38:31 · 360 阅读 · 0 评论 -
网络爬虫与信息提取--正则表达式---淘宝商品比价定向爬虫
淘宝商品比价定向爬虫本实例爬取时间2019.9.11由于淘宝代码的不断完善更新,本爬取代码已经不能爬取出商品信息内容原因:结果为空;打印html看到,需要登录淘宝在网上找解决方法,可以复制cookies但是发现 没找到cookies虽然爬取最终失败了,但是逻辑还是很受用哒~【https://www.jianshu.com/p/4359137776c0 可以看这篇讲解详细从众多的文...原创 2019-09-11 15:22:10 · 1182 阅读 · 0 评论 -
网络爬虫与信息提取--正则表达(三)
(一)正则表达式的概念以下图片来源于中国大学mooc嵩天老师的课件regular expression regex Re用来简洁表达一组表达式的方式;通用的字符串表达框架;针对字符串表达“简洁”和“特征”思想的工具在文本处理中十分常用:1.表达文本类型的特征(病毒、入侵等)2.同时查找或替换一组字符串3.匹配字符串的全部或者部分正则表达式的使用:编译:将符合正则表达式语法的字...原创 2019-09-06 09:40:29 · 196 阅读 · 0 评论 -
python网络爬虫与信息提取(二)解析html页面的方法
小结:(一)bs4库的基本元素:tag 标签name 标签名称attributes 标签属性navigablestring 字符串comment 注释信息bs库的遍历功能:下行遍历【.contents】[.children].[.descendants]上行遍历【.parents】【.parent】平行遍历【.next.sibling】【.previous_sibli...原创 2019-08-30 18:39:47 · 3078 阅读 · 0 评论 -
python
python基础的学习仅仅看书是不牢固的,通过案例学习并实操不仅仅让我们巩固基础,还可以更好的运用到实际应用中。 案例来自书籍《python带我起飞》(1)if函数(2)切片(3)简单for循环,实现冒泡排序(4)break(5)模拟人机对话的控制流程。 while循环 if语句输入“hello” 进入主程序输入“bye”或者“ go away” 退出程序·输入“p...原创 2019-08-28 17:51:10 · 171 阅读 · 0 评论 -
python网络爬虫与信息提取(一)了解request库
本笔记是看北理工崇天老师的视频课程记录,来源于中国大学mooc(一)前言Requests库robots.txt 协议beatiful soup 解析html页面Projeets 实战项目a/bre 正则表达式 提取我们最关键信息本课程实例京东商品页面爬取亚马逊商品页面爬取百度/360搜索关键词提取网络图片的爬取和存储ip地址归属地的自动查询中国大学排名定向爬虫淘宝商品...原创 2019-08-28 17:45:41 · 1265 阅读 · 0 评论 -
`python基础
prompt 迅速的 提示 激励cluster 群集configurable 可配置的append 附加; 添加; 贴上; 签(名);pip 是一个现代的,通用的 Python 包管理工具。提供了对 Python 包的查找、下载、安装、卸载的功能。index 获取·值出现的位置zip 将对应的元素打包成一个个元组lista=[‘1’,‘2’,‘3’,‘4’]listb=[‘...原创 2019-04-23 09:47:51 · 138 阅读 · 0 评论 -
python的数据类型返回object 不能进行我们想要的运算操作怎么办
参考一下链接:https://blog.csdn.net/a18312800683/article/details/80428315#commentBox导入微信服务商的数据后,想要进行data[‘申请退款金额’]-data[‘订单金额’]发现几个坑1.数据都带有单引号,而直接用替换data.replace(" ’ “,” ")不能解决问题2.替换后 还是不能直接将两项相减主要原因是:...原创 2019-06-27 20:39:44 · 5552 阅读 · 2 评论 -
python实现可视化 基础(全)
import matplotlib.pyplot as plt#导入matplotlib库%matplotlib inline#让图标直接在juper notebook中展示plt.rcParams[“font.sans-serif”]=‘SimHei’#解决中文乱码问题plt.rcParams[‘axes.unicode_minus’]=False#解决负号无法正常显示的问题%c...原创 2019-07-12 15:29:34 · 5570 阅读 · 0 评论 -
arange 和range的区别
arange 必须import numpy 返回的是array对象(数组)Python 3.x里range返回的是一个iterator,tuple不能直接修改元素原创 2019-07-12 16:14:10 · 276 阅读 · 0 评论 -
Python自定义函数需要注意的问题
Python自定义函数需要注意的问题:1.缩进。一个语句块要用相同的缩进,两个缩进相同的逻辑行可以看做可以并列的关系,不可能是所属关系。return需要跟for对齐,否则2.遍历。range(n) 代表的是从0开始,遍历到n-1,步长为1range(1,n+1) 代表从1开始,遍历到n 步长为1range(1,n+1,2)代表从1开始,遍历到n 步长为2、3.自定义函数后可以返回...原创 2019-08-21 14:32:13 · 6144 阅读 · 0 评论 -
Python列表中+、append、extend的区别
区别及注意事项:#1."+"连接的两个列表可以得到一个新的列表#2.append和extend连接的两个列表不会生成新的列表,但是会在原来的列表上直接更新#3.append会把list4作为一个整体追加到list3上#4.extend会把list4的元素追加到list3上#5.所以千万不能降extend放在等式的右侧...原创 2019-08-21 18:01:19 · 293 阅读 · 0 评论 -
python变量
**(一)**1.变量的本质是对象。对象:身份(id)、类型、值2.可以同时定义多个变量var1,var2,var3=1,2,33.变量类型help(str)dir(str)(二)(1)number数值类型注意的问题is 代表指针a=1000b=1000a is b 返回的false因为指针不一样(2)intprint(id(a))print(id(b))两个id...原创 2019-08-21 18:37:43 · 140 阅读 · 0 评论 -
python 错误与异常
开发人员在编写程序的时候难免会遇到错误,那遇到错误要如何找到错误并处理异常呢?本篇主要实现异常的处理方法。(一)错误分类1.语法错误 syntaxerror2.运行时错误 这种包括很多异常的类型,eg:NameError zerodivisionerror等(二)异常处理的基本语法try: #运行代码。1.代码出现异常,在异常处中断,执行except;2.无异常,执行elseexc...原创 2019-08-27 17:17:28 · 136 阅读 · 0 评论 -
无效的句法+语句没有缩进 导致返回的结果错误
1.在shell界面input 后还没有输入下面的条件语句就直接执行了 ???why2.# 程序计时import timestart =time.perf_counter()print (start)end=time.perf_counter()print (end)print(end-start)eg2计算文本进度条时 没有按照进度条形式出现 而是仅返回100%进度??...原创 2018-11-26 15:18:08 · 319 阅读 · 0 评论