小阔爱_data-CSDN博客

原创 pandas dataframe 写入到es中

1.pandas中的dataframe1.工作原因，需要从hive读取数据到pandas中进行操作，然后处理完全以后需要再读取到es中。读取hive数据：因为脚本在生产上，所以，导入的包如果有缺失，可以自己补一下。import pandas as pdfrom pyhive import hiveimport jsonimport timefrom elasticsearch import Elasticsearch2.读取Hive数据库conn=hive.connect(host=''

2021-10-29 11:19:19 1743

原创阿里天池Python训练营task03

阿里天池Python训练营task03一、函数1. 函数的定义还记得 Python 里面“万物皆对象”么？Python 把函数也当成对象，可以从另一个函数中返回出来而去构建高阶函数，比如：参数是函数、返回值是函数。我们首先来介绍函数的定义。函数以def关键词开头，后接函数名和圆括号()。函数执行的代码以冒号起始，并且缩进。return [表达式] 结束函数，选择性地返回一个值给调用方。不带表达式的return相当于返回None。def functionname (paramet

2021-02-05 16:14:26 323

原创阿里天池Python训练营task02

阿里天池Python训练营task02一、列表简单数据类型：整型：int,浮点型：float,布尔型：bool容器数据类型：列表 list元组 tuple字典 dict集合 set字符串 str1.列表的定义列表是有序集合，没有固定大小，能够保存任意数量任意类型的 Python 对象，语法为 [元素1, 元素2, …, 元素n]。关键点是「中括号 []」和「逗号 ,」中括号把所有元素绑在一起逗号将每个元素一一分开2.列表的创建1.创建一个普通的列表x = ['Mon

2021-02-03 16:27:12 350

原创阿里天池Python训练营task01

阿里天池Python训练营task01一、数据类型1.数据类型与转换保留浮点型小数点后n位，可以用decimal包里的Decimal对象和getcontext()方法实现,默认精度值是28位（prec=28)import decimalfrom decimal import Decimal#默认是28位a=decimal.getcontext()print(a)#Context(prec=28, rounding=ROUND_HALF_EVEN, Emin=-999999, Emax=9

2021-02-02 16:15:42 265 1

原创修改Anaconda中的jupyter notebook的默认工作路径

修改Anaconda中的jupyter notebook的默认工作路径Anaconda中的jupyter notebook的默认路径1.安装的环境2.需要修改二个位置1.常规操作2.修改快捷方式Anaconda中的jupyter notebook的默认路径安装的话，网上不胜枚举，但是谈到修改默认路径，感觉大家都讲的不是很全，我主要分2个部分来区分。1.安装的环境安装的话，网上一大推，我建议还是下载官网上按照流程一步步来，主要是发现网上没有找到一个比较好的怎么修改工作路径。我是直接在官网上下载安装的

2020-09-28 17:37:15 195

原创 window上安装Git以及可视化的tortoisegit

window上安装Git以及可视化的tortoisegit安装git和tortoisegit1.安装Git可视化2.安装tortoisegit可视化3. 初始化Git主要问题密码和初始化的问题最后说下安装git和tortoisegit本人比较懒，可以先借鉴以下博主的链接点击.1.安装Git可视化 1. 安装包链接如下：百度网盘的直接下载 https://pan.baidu.com/...

2020-03-20 11:05:07 240

原创 Oracle错误： ORA-01722 无效数字

Oracle错误： ORA-01722 无效数字1.排查错误举个栗子2.总结几个常见的转换格式的oracle函数1. 将日期型转换为字符串TO_CHAR()2. 将数字型转换为字符串to_char()3. 将字符换转换为日期to_date()4. 将字符串转换为数字to_number()1.排查错误不用想了，多半是你的数据格式有问题。先排查你的数据格式，确定是不是你想要的格式。举个栗子某...

2019-11-28 17:14:19 7324

转载欢迎使用CSDN-markdown编辑器--记不住

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...

2018-09-17 16:51:53 96

原创基于Python中的matplotlib图片的灰度处理

基于Python中的matplotlib图片的灰度处理环境是ubuntu中的jupyter的环境一、图像的灰度化处理的基本原理将彩色图像转化成为灰度图像的过程成为图像的灰度化处理。二、为什么要进行灰度化处理彩色图像中的每个像素的颜色有R、G、B三个分量决定，而每个分量有255中值可取，这样一个像素点可以有1600多万（255*255*255）的颜色的变化范围。

2017-12-18 17:58:20 9977

原创安装beautifulsoup4趟坑，安装好了还是报错

小心坑安装beautifulsoup的时候，我的内心还是很高兴的，因为他不需要我像安装lxml的时候那么多事，还需要下载包之类的。直接在cmd命令或者在pycharm的终端都可以：pip install beautifulsoup4或者pip3 install beautifulsoup4注意：我愉快的安装完成后打算进行一个小小的测试，我命名的是bs4.py 然后导入 from bs4 impor

2017-10-31 21:39:32 4822 13

原创很好用的Xpath插件

爬虫的时候很好用的插件先说优点：在用lxml爬虫的时候，为了更好的获取我们所需要的内容，我们可以借用这个扩展程序，直接在网页上捕捉到需要的东西：上图为证：先简单的说一下：上面的黑窗口左边的是lxml语法，获取的是div下strong下有一个class类，后面的道理以此类推，这样抓取的结果就是”价格（面议/数字）”，“浏览次数”，“说明” 这样即便是写错了，也能在第一时间知道和修改。安装

2017-10-31 21:19:05 2838

原创使用xpath来爬一点点小东西

使用的是xpath来爬的1.先找一个很简单网站来练习的练习 Python代码：运行的环境是windows下，用的是pycharm3.5 主要需要安装的是lxml和requests,Windows下直接 pip install requests 安装lxml，见链接： http://blog.csdn.net/qq1815145797/article/details/78394363i

2017-10-31 20:18:23 478

原创就如何解决from lxml import etree报红的问题

这个主要是针对在Windows上运行pycharm，lxml和etree下面都报红的问题，自己解决了二个小时研究出来的。原因：主要是lxml没有这个包的问题，需要安装下: 1.需要在https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 下选择你和你对应的pycharm对应的版本下载，下载到桌面上 2.在黑屏终端打开，pip install +

2017-10-30 16:27:13 29241 9

原创欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2017-10-30 16:19:38 168