![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
--洗洗睡吧--
吹累了,就睡会。
展开
-
2020-10-23
一些朋友 1、python处理es数据 import sys, os, shutil import traceback import json import datetime import requests reload(sys) # reload 才能调用 setdefaultencoding 方法 sys.setdefaultencoding('utf-8') # 设置 'utf-8' headers = {'Content-Type': 'application/json'} data = "原创 2020-10-23 16:22:35 · 134 阅读 · 0 评论 -
python查找hive表是否缺少日期分区脚本
python查找hive表是否缺少日期分区脚本 #-*-coding:utf-8 -*- import os import sys import datetime import subprocess reload(sys) #获取hive表对应的文件存储目录 def get_hdfs(tb): my_cmd = """hive -S -e "desc formatted """ + tb...原创 2020-01-08 10:18:03 · 312 阅读 · 0 评论 -
python爬取图片
python爬取图片,需要输入要搜索的图片关键字。话不多说,直接上代码。 from requests_html import HTMLSession class BaiDuImg: session = HTMLSession() img_url_regex = '"thumbURL":"{}",' url='' img_url_list =[] de...原创 2019-12-26 18:10:05 · 210 阅读 · 0 评论 -
python导出hive数据到excel中
使用python导出hive数据到excel中 # -*- coding: utf-8 -*- import os import sys import re import subprocess import xlwt import time def exec_shell(cmd): res = subprocess.Popen(cmd, shell=True, stdout=subpro...原创 2019-12-24 14:40:44 · 1537 阅读 · 0 评论 -
使用python导出hive数据文件
使用python导出hive表的数据文件到本地 1、创建要导出数据的临时表。 2、使用如下脚本来导出数据文件,并制定分隔符。 #-*-coding:utf-8 -*- # created by lisardon at 20190813 for export more than 20000 rows data. # exec: python Create_sql.py -d dim -t dim_c...原创 2019-12-23 14:33:03 · 1730 阅读 · 0 评论