python
VeeLe
知乎:相对静止 https://www.zhihu.com/column/c_1102570753626591232
展开
-
定时打开浏览器(python)
用pyhton定时打开浏览器原创 2017-04-28 13:26:09 · 676 阅读 · 0 评论 -
python版本管理工具记录
目的:减少各项目之间的包冲突例外:在用sublimeText时应该不能识别虚拟环境(配合pycharm可以使用)安装:python3.6.1pip install virtualenv pip install virtualenvwrapper使用:创建: virtualenv [虚拟环境名称] mkvirtualenv [虚拟环境名称] 使用:...原创 2018-02-27 20:14:25 · 314 阅读 · 0 评论 -
python lxml xpath使用简单汇总
1.xpath 的作用和优势将html解析未标签树,和Beautifulsoup一样,会自动补全缺失的标签。不同的是lxml是用c语言写的,速度会更快。2.xpath 使用方式# 1.html.fromstring import requestsfrom lxml import htmlSESSION_URL = 'https://github.com/session's =...转载 2018-07-26 17:48:08 · 352 阅读 · 0 评论 -
爬虫一般处理流程和反爬措施小结( 待续)
1.爬虫启动流程确认可行路径:无非就是app接口、不同的网页接口(合作平台、官方接口)确认反爬措施:这一步是蛮重要的,可以为接下来的步骤提供参考。从经验中比较容易的部分开始尝试确认规则可行:以目前的技术积累(技术层次)反反爬措施有希望实现。(即可破解:模拟、转换出所需要的参数;)如果需要的话,迭代 1234:出爬虫demo加反爬措施(IP代理、模拟登陆、准备足够多的账号、逆向分析...原创 2018-07-30 16:23:21 · 1072 阅读 · 0 评论 -
百度指数爬虫+图片识别+数字识别训练
大佬贡献代码训练识别模型遇到的错误:无法识别出任何的内容:可能原因,环境变量没配置好可以识别某些验证码,但是却无法识别出需求的截图,自带的识别模型不适合,需要自己训练...原创 2018-10-24 19:11:27 · 668 阅读 · 0 评论 -
移动端自动化测试入门:用appium 控制安卓手机打开app(第二版,已完成)
基本需求:通过python代码自动打开指定app,并打开相关的内容,停留一段时间。用到的工具jdk 1.8sdkadb工具(android debug bridge)uiautomaorviewer顺序设置环境变量(Android SDK 和 java的环境变量)打开命令行打开命令行启动adb服务器:adb start-server启动adb服务器:adb start...原创 2019-02-26 18:26:09 · 12698 阅读 · 0 评论 -
python 操作 excel总结(openpyxl、pandas read.csv)
目的:自动从数据库取数贴到表格然后修改部分单元格删除部分数据。原创 2019-03-18 11:53:58 · 1114 阅读 · 0 评论 -
拼接txt文件并输出到excel
# 法1:pandas.read_excel(path,engine='python')path_folder = ""path_output = "“”df_all = pd.DataFrame()for paths in os.walk(path_folder): for path in paths[2]: filepath = path_folder + '\...原创 2019-03-28 14:59:27 · 203 阅读 · 0 评论 -
pandas 数据分析总结
part1:基础操作dataframe 初始化(空/非空)dataframe 列名操作数据拼接(行/列拼接,暴力拼接)# 1.dataframe 初始化## 空dataframedf_data = pd.DataFrame()df_data = pd.DataFrame(data_list,columns=columns_list)# 2.dataframe 列名操作##...原创 2019-04-02 17:47:25 · 566 阅读 · 0 评论 -
使用 pandas join 连接时 报错 Buffer has wrong number of dimensions (expected 1, got 2)
逐步检查发现是索引除了问题# 以下的步骤,一般没问题df = df1.join(df2.set_index('col1'),on='col1')#加一步 重命名列,然后就报错了df2.columns =[['col1','col12']] ...原创 2019-04-16 18:03:21 · 11292 阅读 · 0 评论 -
pandas 数据处理从入门到入门教程(待续)
1.数据获取一切工作的开始。1.1数据初始化DataFrame:Numpy:1.2数据读取原创 2019-04-23 15:35:37 · 421 阅读 · 0 评论 -
SublimeText配置Python开发环境(交互、快捷打开 REPL、自动补全,侧边栏等)
SublimeText配置Python开发环境(交互、快捷打开 REPL、自动补全等)0.效果图: 主题是:Blackboard1. 基础配置、包安装等基础操作参考:sublime text 3 + python配置,完整搭建及常用插件安装 2. 自动补全:jedi,装上就好了 3. 侧边栏的文件夹模式: (1)project -> add folders to project原创 2017-08-13 19:42:58 · 2535 阅读 · 3 评论 -
数据分析系列目录
数据分析系列目录统计学元知识(从一到全部) python数据分析复盘——爬虫相关库Scrapy爬虫实例——南方都市报python数据分析复盘——数据分析相关库之Numpypython数据分析复盘——数据分析相关库之Pandaspython数据分析复盘——数据分析相关库之Matplotlib数据分析复盘——相关理论之精益数据分析数据分析复盘——相关理论之《增长黑客》数据分析复盘——基础原创 2017-09-20 21:59:35 · 3197 阅读 · 0 评论 -
python数据分析复盘——爬虫相关库
Requests、BeautifulSoup、re、lxml、css selector 、scrapy1.Requests1.1 Requests的7个主要方法其中,request()方法是其它方法的基础方法,get()方法用的多一些,本人没在实际爬取中用过其它方法。requests.request() 构造一个请求,支撑以下各方法的基础方法requests.get(...原创 2017-09-11 16:09:15 · 1128 阅读 · 0 评论 -
打开指定文件夹并批量修改文件名(python)
import osdef rename_files(): #拿到文件名 path="F:\GIT\code\python\lesson1\prank" file_list=os.listdir(path) print(file_list) #重命名 str="我想告诉你的是这个图片有毒呀希望没重复可以命名完全部原来还不足以匹配这么多张天啊金丝雀棣却"原创 2017-04-28 13:33:49 · 505 阅读 · 0 评论 -
决策树学习笔记整理(转载)
转载自:决策树学习笔记整理更多参考内容: 1. 机器学习实战第三章——决策树(源码解析) 2. 决策树之ID3算法 3. 小结某些机器学习算法归纳偏置 4. 浅谈归纳偏置本文目的最近一段时间在Coursera上学习Data Analysis,里面有个assignment涉及到了决策树,所以参考了一些决策树方面的资料,现在将学习过程的笔记整理记录于此,作为备忘。 算法原理转载 2017-08-18 12:22:30 · 235 阅读 · 0 评论 -
使用pymsql存取图片
0.遇到的问题0.1. 在执行插入语句的时候报错:Error 2013: Lost connection to MySQL server during query ([WinError 10054] An existing connection was forcibly closed by the remote hoError 1153: Got a packet bigger than 'max_原创 2017-08-18 16:30:18 · 1191 阅读 · 0 评论 -
django1.11.4 连接mysql
django默认支持MySQLdb MySQLdb 不支持 python3.6 所以需要做一些转换 虽然最终连上了,但是没有完全解决问题。如果有知道如何解决,欢迎留言交流。 ——————————————排版呀初学者的排版—————————————— 1 . 在设置好settings数据库相关信息之后,刷新服务器报错: ‘Did you install mysqlclient or原创 2017-08-11 16:15:33 · 377 阅读 · 0 评论 -
python数据分析复盘——数据分析相关库之Pandas
1.Pandas 简介1.1 pandas是什么Pandas是Python第三方库,提供高性能易用数据类型和分析工具Pandas基于NumPy实现 ,常与NumPy和Matplotlib一同使用1.2 pandas vs numpy 2.Pandas库的Series类型2.1 Series的结构#多维一列,形式是:索引+值。(省略index会自动生成,从0开始)>>> pd.Series([1原创 2017-09-12 21:26:05 · 1017 阅读 · 0 评论 -
python数据分析复盘——数据分析相关库之Numpy
1.1 numpy简介(1)numpy是以矩阵为基础的计算模块,纯数学。用来进行各种计算。(2)numpy是一个开源的Python科学计算基础库,包含: • 一个强大的N维数组对象 ndarray • 广播功能函数 • 整合*C/C++/Fortran代码的工具* • 线性代数、傅里叶变换、随机数生成等功能(3)NumPy是Sc原创 2017-09-12 12:15:44 · 818 阅读 · 0 评论 -
python数据分析复盘——数据分析相关库之Matplotlib
1.Matplotlib简介1.1 概念matplotlib是一个2D作图库,提供了方便的接口,使用户可以轻松的掌控图形的格式。Matplotlib库由各种可视化类构成,内部结构复杂,受Matlab启发,matplotlib.pyplot是绘制各类可视化图形的命令子库,相当于快捷方式1.2 基础用法import matplotlib.pyplot as pltplt.plot([5,2,1,原创 2017-09-13 14:08:34 · 1463 阅读 · 0 评论 -
python数据分析应用之机器学习库(汇总)
1.sklearn应用sklearn自带数据集训练(支持向量机分类)sklearn自带数据集训练(线性判别分析)待续2.TensorFlow应用待续原创 2017-09-14 13:47:56 · 543 阅读 · 0 评论 -
python 用字符串生成词云图
python 用字符串生成词云图更多jieba相关内容: jieba中文处理1.大致步骤 1. 从mysql读取数据 2. 分词分 3. 生成词云图2.用到的库 - jieba 分词 - wordcloud 词云生成和保存3.代码如下:#连接数据库def connect_mysql(): conn = pymysql.connect( host='loc原创 2017-08-12 16:34:09 · 933 阅读 · 0 评论 -
ptyhon学习手册 第四版学习笔记(留坑)
第四部分 函数第16章函数基础1.为什么要用函数? 2.数什么时候会被创建 3.多态及其优点第十七章 作用域1.作用域法则 2.变量名解析原则(LNGB) 3.函数嵌套 3.1工厂函数 3.2循环变量默认参数 4.用类保存状态 5.函数属性的状态原创 2017-09-22 14:29:05 · 261 阅读 · 0 评论 -
Python正则表达式
by 寒小阳正则表达式是处理字符串的强大工具,拥有独特的语法和独立的处理引擎。我们在大文本中匹配字符串时,有些情况用str自带的函数(比如find, in)可能可以完成,有些情况会稍稍复杂一些(比如说找出所有“像邮箱”的字符串,所有和julyedu相关的句子),这个时候我们需要一个某种模式的工具,这个时候正则表达式就派上用场了。说起来正则表达式效率上可能不如str自带的转载 2017-09-11 20:42:21 · 438 阅读 · 0 评论 -
Scrapy爬虫实例——南方都市报
1.目录结构工程目录下: 忽略__pycache__目录(缓存目录),应该是类似java编译后的class文件。目录结构如下:└─ SouthCity #工程(project)名 │ │ scrapy.cfg #scrapy爬虫部署的配置文件(新建项目的时候自动生成) │ └─SouthCity #spider名 │原创 2017-09-11 21:39:05 · 963 阅读 · 0 评论 -
统计学原理之python数据分析基础(初稿)
本篇内容关键词:python基础、数据分析、pandas、描述统计、matlibplot、seaborn、可视化分析1.python基础1.1python简介都说python是门胶水语言,可以在需要的地方轻松地粘合目标需求。我觉得python的主要优点有两点:只需聚焦实现逻辑:只要把逻辑捋顺,调用第三方库可以轻易实现处理逻辑。语法简洁,符合日常阅读的习惯。容易获得相关的技术/理论支持:...原创 2019-07-28 21:44:28 · 718 阅读 · 0 评论