![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
侠客刀
简单,清晰,高效
展开
-
pyspark sql简单入门
采用python开发spark sql简单入门1.读取本地csv文件转换为DataFrame2.DataFrame注册为spark sql临时表3.spark sql()函数查询返回DataFrame数据,或者直接DataFrame API返回数据原创 2020-09-28 11:01:14 · 1842 阅读 · 0 评论 -
spark-submit提交python作业
spark-submit提交python作业spark-submit执行pyspark脚本指定python环境提交:spark-submit --conf "spark.pyspark.driver.python=/usr/bin/python3.5" --conf "spark.pyspark.python=/usr/bin/python3.5" main.py原创 2020-09-28 10:19:04 · 815 阅读 · 0 评论 -
pip国内镜像安装numpy等
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy原创 2020-09-28 10:03:19 · 10971 阅读 · 0 评论 -
python读写mysql数据库
# -*-coding:utf-8-*-import mysql.connector# 进行mysql数据库连接 root 123456 test# def conn(user,password,databases):conn=mysql.connector.connect(user="root",password="123456",database="test")cursor=con...原创 2018-02-09 17:59:26 · 393 阅读 · 0 评论 -
SublimeText工具编写 Python
SublimeText Python 方法/步骤 打开sublimeText 在菜单栏找到Tools——>编译系统——>新编译系统使用SublimeText 作为Python 的开发环境 使用SublimeText 作为Python 的开发环境 在新的配置文件中输入如下配置{“cmd”: [“*”,”-u”,”$file”],“file_regex”: “...原创 2018-02-08 18:05:19 · 429 阅读 · 0 评论 -
python日志开发
# -*-coding:utf-8-*-import loggingclass my_logger(object): def __init__(self,url): logging.basicConfig( level=logging.WARNING, # 将日志信息放到文件../1.log中 fi...原创 2018-02-23 14:28:54 · 131 阅读 · 0 评论 -
连接mysql
# -*-coding:utf-8-*-import mysql.connector# 进行mysql数据库连接 root 123456 testconn=mysql.connector.connect(user="root",password="123456",database="test")cursor=conn.cursor()print("connection mysql su...原创 2018-02-23 14:31:22 · 153 阅读 · 0 评论 -
python爬虫-之前接的一家长租公寓的项目
长租公寓项目项目描述:公司想通过目前中国长租公寓的信息,比如:长租公寓品牌(比如自如、蛋壳、优逸客家等多个品牌)、房源位置(这里具体到省、市、区、小区名),房源个数,房屋设备、位置优势、租房价格等,去分析不同公寓品牌在不同城市的服务情况。从而去决策租房的消费情况和各个品牌的一个个走势。最终以热力图、折线图等呈现出来。项目流程:1.从网上抓取各个品牌的f房源信息2.进行数据预处理、清洗、去...原创 2019-02-25 10:42:40 · 238 阅读 · 0 评论