- 博客(57)
- 收藏
- 关注
RSS订阅转载 Python文件和目录操作_1
Python文件和目录操作_1文件操作包含文件打开和关闭、读、写、重命名和删除，分别对应open、close、read、write几个方法。新建fileHandler.py,用于测试和练习。1. 文件操作想要对一个文件进行操作，要先使用open方法获取文件的访问权限,该方法的完整定义如下：open(file, mode=‘r’, buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)
2021-02-19 16:33:29
220
转载 Hive 数据倾斜解决方案（调优）
在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的...
2019-03-21 20:55:19
189
转载 数据库SQL优化大总结1之- 百万级数据库优化方案
转自：https://mp.weixin.qq.com/s?__biz=MzIxMjg4NDU1NA==&mid=2247483684&idx=1&sn=f5abc60e696b2063e43cd9ccb40df101&chksm=97be0c01a0c98517029ff9aa280b398ab5c81fa1fcfe0e746222a3bfe75396d9eea1...
2019-03-21 20:52:53
320
转载 MapReduce 优化
MapReduce简介MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义：1）MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。2）MapReduce是一个并行计算与运行软件框架（Software Framework）。它提...
2019-03-21 20:49:35
429
原创 3.文件和流
3.文件和流标签（空格分隔）： 6.2Java高级一 文件简介创建 + 属性和方法(1)实例化对象创建//实例化的时候必须指定文件或文件夹(指定的文件夹是否存在不重要) File file=new File("D:/book");(2)属性和方法创建指定的文件夹其他方法操作代码二 递归特征: 自己调用自己写一个方法 来实现阶乘...
2019-03-21 20:41:57
199
原创 2.集合
2.集合标签（空格分隔）： 6.2Java高级一 Java集合框架二 List接口的实现类1. ArryList集合类(1) 简介(2)常用方法增-add()al.add(“hello”); //在末尾增加元素 al.add(1, “hello”); //增加在指定位置al.add(12); //集合不支持基本数据类型！！！！！！！al.add(15.5);...
2019-03-21 20:40:37
202
原创 1.常用类
1.常用类标签（空格分隔）： 6.2Java高级内容:一 枚举二 包装三 random类四 string类五 日期类一 枚举1. 简介 * 1.枚举类型没有类,没有方法,没有属性,只有常量; * 2.创建关键字enum, * 3.每个单词都是公共的静态常量 * 4.这里定义常量名不能使用中文 * 2. 使用一般创建顺序: 创建enum—创建类—测试文件...
2019-03-21 20:38:51
387
原创 7.Java面向对象的三大特征1
7.Java面向对象的三大特征1标签（空格分隔）： 6Java基础面向对象的三大基本特征封装继承多态一、封装A、含义：将类的某些信息隐藏在类内部，不允许外部程序直接访问，而是通过该类提供的方法来实现对隐藏信息的操作和访问 B、封装的好处 1、只能通过规定方法访问数据 2、隐藏类的实现细节 3、方便加入控制语句 4、方便修改实现C、设计原则： 把不想让外界知道...
2019-03-18 20:36:06
137
原创 6.Java面向对象
6.Java面向对象标签（空格分隔）： 6Java基础简介面向过程面向过程 过程 解决问题的时候是一步一步开始操作，一直都一个人在操作面向对象 对象 就是显示中存在，能在某一件事上帮助你的面向的对象的思想都应已经应用 例如： 从家-》学校 面向过程 ：就是出门以后看太阳，走到学校 System.println(); 面向对象： 先查好路线(地图APP...
2019-03-18 20:35:10
91
原创 5.Java数组2
5.Java数组2标签（空格分隔）： 6Java基础一、Arrays类中使用(常用的方法)处于的包： java.util方法 Boolean equals(array1,array2)：比较两个数组是否相等 sort(array) :将数组进行升序排列 String toSring(array)：将数组转为字符串 viod fill(array,val):将数组中...
2019-03-11 20:11:38
138
原创 4. Java循环 + 数组
4. Java循环 + 数组标签（空格分隔）： 6Java基础一、循环的进阶A、含义： 就是一个循环包含一个完整的循环；B、特点： 1、所有的循环结构都可以结合使用 2、外层循环控制的是行 3、内层循环控制的是列 4、外循环循环一次，内循环循环一遍C、语法 //while的循环嵌套 while(循环条件1) { //循环操作1 while(循环条件2) { ...
2019-03-11 20:10:04
226
原创 2. 正则表达式---提取字符串
2. 正则表达式—提取字符串标签（空格分隔）： 4.5python爬虫regular expression 正则表达导入正则函数import re创建一个正则表达式reg=re.compile(‘a.*b’)str1=‘a123456b’str2=‘123aaaa456bbbb789’1. match—从头开始匹配result1=re.match(reg,str1)resul...
2019-03-11 20:08:21
23493
2
原创 1. python爬虫--正则表达式1
1. python爬虫–正则表达式1标签（空格分隔）：4.5python爬虫一 python爬虫1. 理解爬虫2.怎么爬取3. 基础概念#二.网页结构1. html结构<> 标签单标签 <!doctype html >双标签 网页由标签组成;不同的标签有不同的内容;可以通过 tagname / id / c...
2019-03-11 20:07:22
514
原创 2. mongo 操作命令(增删改查)
2. mongo 操作命令(增删改查)标签（空格分隔）： 4.3pymongo一 创建/删除开启服务 mongo --dbpath 文件夹绝对路径开启后窗口不要关闭新开一个 cmd 运行 mongo 即可连接 服务创建库(有则用,无则创建)use dbname(数据库名称)显示所有数据库show dbs创建一个集合(数据表)db.create...
2019-03-11 20:05:49
227
原创 1.pymongo初识与安装
1.pymongo初识与安装标签（空格分隔）： 4.3pymongo1. 什么是mongoDB2. 特点3. 下载4. 配置(1)方法1:检测是否安装成功(2)方法2:检测是否安装成功5. 连接...
2019-03-11 20:04:46
714
原创 3. Java循环结构
3. Java循环结构标签（空格分隔）： 6Java基础一、循环结构A、概念：循环结构可以用来减少资源程序重复书写的工作量，用来描述重复执行某段算法的问题，这是程序设计中最能发挥计算机特长的结构B、循环的要素 循环条件、循环体、循环终止条件C、循环特点 循环操作、循环条件D、循环的流程图 符号 名称 意义 圆角矩形 起止符号 一般在程序的开始和结束 带...
2019-03-07 20:13:00
148
原创 2. Java选择结构
#2. Java选择结构标签（空格分隔）： 6Java基础#一、单目运算符符号：++(自身+1) --(自身-1)使用：变量++或者++变量(都表示自己+1 结果等价于 自己加1赋值自己)注意:不是单独语句的时候单目运算符在变量前是先运算在操作，在变量后是先使用变量的值，再运算#二、表达式含义：是运算符和操作对象的有效组合 说明：运算符：是一个命令编译器对一个或对多个操作数执行...
2019-03-07 20:11:29
127
原创 1.Java基础
1.Java初步接触1标签（空格分隔）： 6Java基础#一、计算机程序：为了让计算机执行某些操作或解决某个问题而编写的一系列有序指令的集合#二、Java有哪些方面的开发JavaSE：普通标准程序的开发（桌面）–基本的语法JavaME：手机电子产品类的开发（手机、移动媒体）–手机端JavaEE：网络程序和企业级程序的开发（企业）–结构框架#三、Java的语言特点说明：Java是...
2019-03-07 20:09:34
121
原创 12. python联用mongodb
12. python联用mongodb标签（空格分隔）： 4.2python(核心)一 pymongo写入导入模块import pymongofrom pymongo import MongoClient1. 连接本地数据库服务connection = MongoClient(‘localhost’)2. 获取数据库对象db=connection.demo3. 获取集合对象e...
2019-03-07 20:02:49
147
原创 11. openpyxl操作工作薄/工作表
11. openpyxl操作工作薄/工作表标签（空格分隔）： 4.2python(核心)一 openpyxl的基本操作1. 导入from openpyxl import Workbook注意: Workbook的W 要大写2. 工作簿实例化sheet=wb.active3. 添加sheet的属性,title 可以增加表名称sheet.title = ‘我的表格’4. ...
2019-03-07 20:02:02
5631
原创 10.Python持久化操作 - 记事本、CSV、Excel
10.Python持久化操作 - 记事本、CSV、Excel标签（空格分隔）： 4.2python(核心)一 记事本1.打开记事本1.txt 文件名w mode模式:r=read,w=write(重写),a=append(追加)‘w’ 为重写,会清空文件2. 写入内容(1)单行输入file.write(‘第一次写入到txt\n’)file.write(‘第二次写入到tx...
2019-03-07 20:00:46
312
原创 python报错汇总
python报错汇总标签（空格分隔）： 4.1pythonD:\Python36\python.exe E:/PyCharm/pythonbase/day01/02_变量.py Traceback(most recent call last): File“E:/PyCharm/pythonbase/day01/02_变量.py”, line 12, in print (...
2019-03-05 19:23:57
1590
2
原创 10. 面向对象/类的继承
10. 面向对象/类的继承标签（空格分隔）：4.1python一 pyhton编程方式1.面向过程2.函数式3.面向对象二 对象1.面向对象2.类(1)类(笼统的,具有同种类型的共有属性和方法)对象(具体实例化的)(2)创建类方法class 类名:(3)实例化对象: 传入实参,实例化(类似函数调用)(4)调用方法:实例化.方法函数()(5)构...
2019-03-05 19:22:25
164
原创 9.python匿名函数(eval/filter/map/reduce) / 对象和闭包/装饰器
9.python匿名函数(eval/filter/map/reduce) / 对象和闭包/装饰器标签：4.1python1.函数返回值还是函数def machine(x):return lambda y:…a=machinea(y)eval() 字符串当成代码执行filter (func,object)map(func,object)—输出列表reduce(func,ob...
2019-03-05 19:21:07
201
原创 8.python函数(定义/调用/传递/返回/作用域/匿名)
8.python函数(定义/调用/传递/返回/作用域/匿名)标签： 4.1python一 python函数定义和调用1.定义2.如何定义规则3.语法结构注意:4.调用函数定义函数只是给函数一个名称,指定了该函数的参数和代码块结构.但他并不会自己执行.需要调用参数调用方法:形参:形式上的参数(可改变)实参:形参的赋值(不可改变)(1) 函数名称(形参1=实参1,...
2019-03-05 19:20:10
204
原创 7.循环嵌套 & 推导式 & 循环控制
7.循环嵌套 & 推导式 & 循环控制标签：4.1python一 循环嵌套1.for循环语句嵌套1.2 一层嵌套–在第一次循环后,添加一个新的循环1.3 二层嵌套–在前第二次循环输出后,添加一个新的循环1.4 三层嵌套–在前第三次循环输出后,添加一个新的循环2.while循环语句嵌套3.while 和for混合嵌套while 嵌套 for注...
2019-03-05 19:18:37
404
原创 6 for循环读取值和enumerate函数
6 for循环读取值和enumerate函数标签： 4.1python一.zip函数读取一个列表中的值读取两个列表中的值1.zip函数2.示例#二. 用for循环读列表list#三. 用for循环读取字典dict#四. enumreate函数1.使用情况----需要显示下标2.其他示例#五. 相关联系题1.输出1-100之内7的倍数以及包含7的数...
2019-03-05 19:17:47
425
原创 5 python条件语句和循环语句
5 python条件语句和循环语句标签（空格分隔）：4.1python1.python循环种类#一 if条件语句1.if语法示例:2.if…else语法示例:3.if…elif…else语法:示例:4.if多条件5.练习题目5.1 输入一个年份,输出他是闰年还是平年5.2 输入3个数abc(三个值不等),从小到大输出方法一:方法...
2019-03-04 16:54:27
217
原创 4.python运算符
4.python运算符标签（空格分隔）：4.1python#一 Python运算符1.算数运算符2.比较运算符3.赋值运算符= += -= *= /= %= **=变量=value 都是把等号后边的值赋予给前边的变量a=10 b=5a,b=b,a4.逻辑运算符5.位运算符十进制转二进制二进制转十进制二进制转十六进制十六进制转二...
2019-03-04 16:53:32
172
原创 3.python容器数据类型
3.python容器数据类型标签： 4.1python一 列表list1.什么是列表2.列表的增—创建列表、增加元素2.1增加新列表方法一：通过语法创建list=[数据项1，数据项2，数据项3，…]方法二：通过函数list()创建2.2 增加新元素2.2.1在列表的末尾增加新元素2.2.2 指定位置增加新元素2.2.3增加多个新元素3.列表的删—删除列...
2019-03-04 16:52:05
296
原创 2.python语法基础
2.python语法基础标签（空格分隔）： 4.1python一 python的语法基础1.python2版本注意添加默认为utf-8,位置在前两行2.python的基本数据类型2.1数据类型—None2.2数据类型—Number注:复合函数公式中的字母固定用j表示3.数据类型—bool(布尔类型,只输出True或 False)3.1代码展示3.2延...
2019-03-04 16:51:00
169
原创 1.python简介及工具pycharm安装
1.python简介及工具pycharm安装标签（空格分隔）：4.1python#一 pyhton简介1.什么是python2.python的优势3.python的用途#二 python下载/安装/环境变量配置1.python下载(目前最新版本python3)2.python安装注:1.下载的软件尽量放在一个文件中eg:软件,尽量别放C盘;2.安装的软件安...
2019-03-04 16:49:35
212
原创 3.matlab r2016a1
3.matlab r2016a1标签（空格分隔）： 3.4matlab#一 简介1.简介(1).发明者:大学老师强项:数据运算(2).特点(3).MATLAB系统组成(4).应用程序(5).matlab r2016a版本特性(6).目录结构2.操作界面(1)主要功能(2)命令行窗口(3)布局保存(界面的设置)3.变量保存和删除(1).选定变量—...
2019-02-27 17:06:22
227
原创 3.3 SAS可视化操作3
3.3 SAS可视化操作3标签（空格分隔）：3.3sas#一 SAS数据可视化1.直方图----展示某个变量数据分布情况2.带状图3.折线图—转折变化的情况xaxis label=‘年龄段’ discreteorder=data; x轴排序4.柱状图—变化情况展示5.条形图6.散点图7.多个图像novarname 不显示变量名称#二 数...
2019-02-27 17:04:21
902
原创 3.3SAS数据集操作2
3.3SAS数据集操作2标签（空格分隔）：3.3sas#一 纵向合并(数据集加宽)纵向合并set语句增添辅助列区分数据来源示例1:内容一致,字段名不一样时修改示例二#二 横向合并全连接(一定要先排序,否则找不到相应字段)左连接/右连接排序#三 数据对比#四 数据查重#五 数据的筛选...
2019-02-27 17:03:09
409
原创 3.SAS简介与编程基础1
3.SAS简介与编程基础1标签（空格分隔）： 3.3sas#lesson1 SAS初识#一.SAS简介SAS模块介绍#二.下载和安装#三.SAS购买版和大学版的区别1.大学版(1)下载(2)虚拟机设置序列号:VF5XA-FNDDJ-085GZ-4NXZ9-N20E6添加步骤(3)启动SAS浏览器最好使用谷歌2.在线版(1)注册...
2019-02-27 17:01:58
599
原创 2 SPSS3-建模
1.回归分析2.回归和相关分析的关系—两个或两个以上变量3.模型#一元线性回归含义:基本结构:范例1.确定自变量和因变量2.制作图形—得出线性关系3.分析关系4.保存(未标准化)—建立线性回归模型#多元线性回归含义1.确认自变量和因变量2.建立线性关系图3.变量相关关系分析4.回归—数据...
2019-02-27 17:00:45
374
原创 2 SPSS2-图形制作
1.基础知识2.直方图绘制方法一:旧对话框进入方法二:图表构建程序—简单直方图美化:双击图形激活—双击图形编辑区—属性/元素(右键单击快捷操作)右键单击快捷键3.分段直方图(堆积直方图)方法一:方法二:4.直方图组步骤:直方图+组/点ID构成多行多列5.箱图6.饼图—类别比较少的数值7.离散数据分类(...
2019-02-27 16:59:34
1216
1
原创 2 SPSS1-数据预分析
#单个变量频率分析1.分类变量频率分析目的:针对分类变量进行分析条形图—频率报告打开方法1.右键单击字段名–描述性分析(文字描述,无图);2.分析—频率–选变量—图形(饼图/直方图/分布图)–格式(升降序)—确定分类变量—条形图(性别)连续变量—直方图(年龄)Z标准化分析—频率探索分析下4分位数(25%)—上4分位数(75%) 共占总数据的50%(固定)...
2019-02-27 16:58:22
545
原创 2.SPSS Statistics2
1.拆分拆分后文件无变化,但在输出中可查看分类结果.(屏幕右下角有显示)2.可视化离散(等距分组)—连续型转分类型目的:将数值类型数据进行等距分组,也称分箱.一般为了查看分部情况步骤:转换—生成标签:3.重新编码(不等距分组)目的:不等距分组缺点:值标签需要手动添加步骤:转化—重新编码为不同变量—输出变量–旧值信值选定4.0-1标准化目的:公式:(变量-min)...
2019-02-20 21:28:31
738
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人