溺水咸鱼-CSDN博客

原创 python 连接 hive 踩坑

python 连接 hive 踩坑1.Python环境python 3.6.5pip install pure-saslpip install thrift_sasl==0.2.1 --no-depspip install thrift==0.9.3pip install impyla2.修改源码错误：thriftpy.transport.TTransportExcep...

2019-09-03 11:00:18 1293

原创 CentOS6 搭建Hive

CentOS6 搭建Hive- 1.环境准备Hadoop 2.x.xMySQL 5.7 安装流程(可参考https://www.cnblogs.com/lzj0218/p/5724446.html)亲测可用mysql-connector-java-5.1.47.jar Hive 2.3.5 下载地址(https://mirrors.tuna.tsinghua.edu.cn/apac...

2019-06-12 15:52:52 405

原创 PyCharm远程操作服务器Spark

PyCharm远程操作服务器Spark1.环境准备- windowsJetBrains PyCharm 2019.1.3 Professional版本 - Linux(CentOS)Python version 3.6.5Spark version 2.4.3vim /etc/profile向PATH追加export PATH=.:$PATH:$SPARK_HOME/pyth...

2019-06-11 17:04:14 1613

原创 kettel 执行 python 脚本

kettel 执行 python 脚本前言：不知道为什么我查找了百度、谷歌等等，基本上没看见一个我想要的答案，所有自行摸索，找到了Kettel执行Python脚本的方法。1.新建一个作业(Job)2.依次将 (通用)Start (脚本)Shell (通用)成功拖向指定区域，并按住Shift键将其连接至下图3.配置(脚本)Shell4.保存文件后点击执行即可最后希望这篇博客帮...

2019-04-15 19:00:17 5028 11

原创 kettel 第一讲介绍和安装

kettel 第一讲介绍和安装1. kettel介绍(1) kettel 是什么Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。(2) kettel 使用介绍Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本...

2019-04-12 15:49:30 3121

原创 Python 撩妹大全之一邮件系类的小暖男

Python 撩妹大全之一邮件系类的小暖男本篇博客将教会大家如何使用python给自己喜欢或者不喜欢的人发有邮件(= = 不喜欢就是邮件轰击，再来个免责声明:只教撩妹,其他的都是他们干的)环境Python: 3.6.5IDE: PyCharm Community Edition 需要使用到的模块(没有的请手动 pip install 安装)urllibbeautif...

2019-04-11 14:32:15 572

原创基于python的json脚本解析

super_json_v0.01 源码和解释func_super_json(处理Json文件方法)def func_super_json(js_path,s,tk,vk,c_o): ''' 传入json路径:param js_path: 传入idcard和phone_no:param s: 传入需要解析的类:param tk: 传入需要输出的valu...

2019-04-09 17:22:16 1219

原创 python实现颜色RGB转换颜色16进制

python实现颜色RGB转换颜色16进制超级简单的实现过程#coding:utf-8def RGB_to_Hex(tmp): rgb = tmp.split(',')#将RGB格式划分开来 strs = '#' for i in rgb: num = int(i)#将str转int #将R、G、B分别转化为16进制拼接转换并大写 ...

2019-04-09 14:00:46 10307 3

原创 python 连接MySQL数据库从文件中读取数据进行分块自动插入数据

automation_insert_into.py(自动插入数据)conn_mysql(host,port,user,passwd,db)def conn_mysql(host='xxxxx',port='3306',user='xxx',passwd='xxxx',db='xxx'): ''' mysql_ip_path:param host: mysql_por...

2019-04-03 12:00:39 799

原创 Python处理加速度和陀螺仪数据计算姿态角

通过x、y、z加速度和陀螺仪计算姿态角（欧拉角）#coding:utf-8import math#IMU算法更新Kp = 100 #比例增益控制加速度计/磁强计的收敛速度Ki = 0.002 #积分增益控制陀螺偏差的收敛速度halfT = 0.001 #采样周期的一半#传感器框架相对于辅助框架的四元数(初始化四元数的值)q0 = 1q1 = 0q2 = 0q3 = ...

2018-12-27 13:48:57 9743 6

原创 Pandas 的实用方法

1.想要删除数据中有空数值的一行df = df.dropna()print(df)2.pandas读取含有中文文件时df = pd.read_csv('xxx.csv',delimiter=',',names=['xxx','xxx'],encoding="utf-8")print(df)3.pandas 对index或者某一列进行全体排序df = df.sort_index(...

2018-12-11 10:44:24 653

原创对餐饮数据进行处理基于Python

对餐饮数据进行处理基于Python餐饮网页数据源#coding:utf-8# 导入必要的模块import pandas as pdimport numpy as npimport re# 读取网页数据源df = pd.read_csv(url,delimiter='\t')print(df)# 将餐名统一格式化change_n = lambda x : str(r...

2018-12-11 10:41:10 1387

Forter_J的博客