![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
beautiful_huang
万般皆苦 唯有自度
展开
-
【python】pyspark读取获取文件、加载已存在的文件、读取csv文件修改列名
读取获取文件# encoding=utf-8from pyspark import SparkContextfrom pyspark import SparkFilessc = SparkContext.getOrCreate()# dt = sc.addFile('hdfs://192.168.56.122:9000/data')with open(SparkFiles.ge...原创 2020-02-06 17:20:24 · 2072 阅读 · 0 评论 -
【python】pyspark详解
为了更好地进行大数据分析与处理,最近在学习PySpark,整理了一下笔记 ,加深印象。1 Resilient Distributed Datasets(RDD)弹性分布式数据集(RDD)是一个不可变的JVM对象的分布式集合,是Spark的基本抽象。1.1 创建RDD 准备工作:>>> import pyspark>>> from pyspark ...原创 2020-02-06 17:07:46 · 2651 阅读 · 0 评论 -
【python】python 机器学习之 Numpy 使用总结(一)
文章目录数据类型数组属性创建数组数据类型numpy 支持的数据类型比 Python 内置的类型要多很多,基本上可以和 C 语言的数据类型对应上,其中部分类型对应为 Python 内置的类型。下表列举了常用 NumPy 基本类型。名称描述bool_布尔型数据类型(True 或者 False)int_默认的整数类型(类似于 C 语言中的 long,int32 或 in...原创 2020-02-05 16:35:55 · 308 阅读 · 0 评论 -
【python】python 机器学习之 Numpy 使用总结(二)
Python中Numpy库使用总结 Numpy库的使用 Numpy库和Pandas库均是python机器学习中不可缺少的一个包,其重要性我就不详细说明,直接上干活 Numpy库的使用Numpy库的安装windown中提前安装好python,并且配置本地环境,具体方法参照百度检查是否安装好pip(pip是python下一个好基友)window下命令行直接 pi...原创 2020-02-05 14:02:33 · 137 阅读 · 0 评论 -
【Python】Python 爬虫实战之某1job职位信息爬取
#encoding=utf-8import requestsimport refrom lxml import etreeinfos=[]count=0def getHtmlContext(addr): a=requests.get(addr) a.encoding='gbk' return etree.HTML(a.content.decode("gbk"))def pa...原创 2020-01-15 19:09:43 · 510 阅读 · 0 评论 -
【Python】修改PIP源为国内PIP源方式
在出现找不到安装包的版本,例如安装jieba==0.39的时候报错:Could not find a version that satisfies the requirement jieba==0.39 (from versions: )No matching distribution found for jieba==0.39或者连接某些pip源超时可以考虑更换pip源国内pip源列表:...原创 2020-01-14 09:56:53 · 140 阅读 · 0 评论 -
【Python】python 3.x 数据类型 吐血汇总
文章目录1、整数型2、浮点数3、字符串4、布尔值5、空值6、变量7、定义字符串(1)raw字符串 、多行字符串(2)Unicode字符串8、集合 list(1)访问列表中的值(2)更新列表(3)删除列表元素(4)Python列表脚本操作符(6)嵌套列表(7)列表函数&方法9、元组 tuple计算机顾名思义就是可以做数学计算的机器,因此,计算机程序理所当然地可以处理各种数值。但是,计算机能...原创 2020-01-13 22:19:07 · 724 阅读 · 0 评论 -
【Python】Sublime text 3搭建Python开发环境及常用插件安装
一、环境准备1、官方网站地址2、Windows 103、Sublime Text 3 + 官网购买license(Just a suggestion,$80) 购买链接,Sublime Text may be downloaded and evaluated for free, however a license must be purchased for continued use。...原创 2020-01-13 10:31:44 · 315 阅读 · 0 评论