python
bigdataf
这个作者很懒,什么都没留下…
展开
-
PySpark的select fliter agg join
1.初始化from __future__ import print_function, divisionfrom pyspark import SparkConf, SparkContextfrom pyspark.sql import SparkSession,functions as Ffrom pyspark.sql.types import StringType,MapType2.读取数据def parse_log_schema(txt): try: fileds=txt.st原创 2020-10-28 14:59:31 · 353 阅读 · 0 评论 -
python SimpleHTTPServer 使用
python SimpleHTTPServer本地目录分享python -m SimpleHTTPServer 10000获取 wget http://ip:10000/filename原创 2019-12-19 17:16:00 · 458 阅读 · 0 评论 -
python 操作hive pyhs2
使用kerberos时import pyhs2class HiveClient: # 初始化 def __init__(self, db_host, user, password, database, port=10000, authMechanism="PLAIN", configuration=None): self.conn = pyhs2.conne...原创 2018-07-25 18:17:37 · 1929 阅读 · 0 评论 -
mac python 多版本管理
https://youjiexia.github.io/2017/05/01/Installing-Python27-and-Python36-Concurrently/原创 2018-08-20 17:03:12 · 805 阅读 · 0 评论