python
--洗洗睡吧--
吹累了,就睡会。
展开
-
2020-10-23
一些朋友1、python处理es数据import sys, os, shutilimport tracebackimport jsonimport datetimeimport requestsreload(sys) # reload 才能调用 setdefaultencoding 方法sys.setdefaultencoding('utf-8') # 设置 'utf-8'headers = {'Content-Type': 'application/json'}data = "原创 2020-10-23 16:22:35 · 148 阅读 · 0 评论 -
python查找hive表是否缺少日期分区脚本
python查找hive表是否缺少日期分区脚本#-*-coding:utf-8 -*-import osimport sysimport datetimeimport subprocessreload(sys)#获取hive表对应的文件存储目录def get_hdfs(tb): my_cmd = """hive -S -e "desc formatted """ + tb...原创 2020-01-08 10:18:03 · 321 阅读 · 0 评论 -
python爬取图片
python爬取图片,需要输入要搜索的图片关键字。话不多说,直接上代码。from requests_html import HTMLSession class BaiDuImg: session = HTMLSession() img_url_regex = '"thumbURL":"{}",' url='' img_url_list =[] de...原创 2019-12-26 18:10:05 · 220 阅读 · 0 评论 -
python导出hive数据到excel中
使用python导出hive数据到excel中# -*- coding: utf-8 -*-import osimport sysimport reimport subprocessimport xlwtimport timedef exec_shell(cmd): res = subprocess.Popen(cmd, shell=True, stdout=subpro...原创 2019-12-24 14:40:44 · 1564 阅读 · 0 评论 -
使用python导出hive数据文件
使用python导出hive表的数据文件到本地1、创建要导出数据的临时表。2、使用如下脚本来导出数据文件,并制定分隔符。#-*-coding:utf-8 -*-# created by lisardon at 20190813 for export more than 20000 rows data.# exec: python Create_sql.py -d dim -t dim_c...原创 2019-12-23 14:33:03 · 1780 阅读 · 0 评论