- 博客(17)
- 收藏
- 关注
RSS订阅转载 RDDs的基本操作
RDDs的基本特性 1.延迟计算 Spark对RDDs的计算是当他们第一次使用Action操作的时候。这种方式在处理大数据时很有用，可以减少数据的传输。 Spark内部记录了metadata表来表明transformation操作是否已经被相应，metadata中只记录已经被相应的Transformation操作 加载数据也是延迟计算，数据只有在必...
2017-08-22 22:17:00
277
转载 Spark基本概念
Spark基本概念1.SparkContent a.Driver programs通过SparkContent对象访问Spark b.SparkContent代表和一个集群的链接 c.在shell中SparkContent对象自动创建好了，就是sc2.Spark中的Shell 主要分为两种：python shell和 scala shell 现在主要...
2017-08-22 11:35:00
213
转载 hive基本操作
1.创建表 （1）创建内部表 内部表：和数据库中的table基本一致，可直接理解为数据仓库中真实存在的表。 a.每个table在hive中都有一个相应的目录存储数据（hive数据仓库文件存储在一般在HDFS的‘/user/hive/warehouse下，warehouse文件夹下的文件夹名即为表名’） 注：external表不在此目录下 ...
2017-08-16 16:02:00
102
转载 pandas数据清洗相关
1.常用的数据操作函数 1.df.dtypes 查看各列数据类型 函数用法：df.dtypes 注意：输入df只能是DataFrame不能是一列，如df['time'] 2.astype 将某一列转换为指定类型 函数用法：df['columns']=df['column'].astype('type') ...
2017-08-15 10:22:00
128
转载 hadoop安装和基本知识
安装教程：/home/yu/develop/hadoop-2.7.1/bin:/home/yu/develop/hadoop-2.7.1/sbinhadoop组成 hadoop主要包括HDFS系统和MapReduce两个部分。HDFS文件系统 hdfs文件系统特点：1.数据冗余，硬件容错 2.流式数据访问。不允许修改，写一次读多次，想修改只能...
2017-08-10 22:19:00
117
转载 workbench安装过程
目前环境: ubuntu14.041.首先安装mongodb,python,g++等sudo apt-get install mongodbsudo apt-get install python-devsudo apt-get install g++2.接下来安装libssl。 注意：此处与官方文档存在不同sudo apt-ge...
2017-08-09 20:34:00
463
转载 docker使用
使用docker步骤：先下载要使用的镜像文件 ——> 利用该镜像文件创建容器——>对该容器的内容根据自己需要进行更新进行——>提交该容器生成的新镜像对原镜像进行更新1.启动交互式启动容器sudo docker run -it dockername 进入容器内交互模式：后台模式启动容器sudo docker run ...
2017-08-01 22:04:00
85
转载 DataFrame.groupby()简析
groupby分组函数： 返回值：返回重构格式的DataFrame，特别注意，groupby里面的字段内的数据重构后都会变成索引 groupby(),一般和sun()一起使用，如下例：from pandas import Series,DataFrame a=[['Li','男','PE',98.],['Li','男','MATH',60.],['liu','男','...
2017-07-28 11:55:00
241
转载 ubuntu桌面版初学者常用快捷键
本文针对刚刚从Windows转入linux系统的初学者。 1.ctrl+sqpace 切换输入法 2.ctrl+alt+t 运行命令行终端 3.ctrl+d 退出，在普通用户下按会直接退出终端，在root下按会直接退出root用户返回但普通用户 4.ctrl+c 强制停止当前运行的程序 5.tab+tab 命...
2017-07-25 14:57:00
118
转载 C文件操作进阶
文件操作基本步骤：首先使用fopen获得指向文件的指针，1.fopen 作用：打开一个文件，返回指向该文件的指针 函数原型：FILE * fopen(const char *path,cost char *mode) 参数说明：第一个参数为欲打开文件的文件路径及文件名，第二个参数表示对文件的打开方式 返回值：文件打开了，返回一个指向该打开文件...
2017-07-17 15:54:00
102
转载 将抓到的pcap文件中Http包转换为可读的txt格式
编写思路： 1.首先将要读取、写入信息的两个文件分别进行打开，接下来先进行文件读操作,获得指向该文件头的指针fp 2.从文件中读取pcap文件头大小的信息存储在pcap_head_buf里，再将偏移偏移量offset设置为pcap头之后 3.将文件pkt(数据报)头信息存储在pkt_head_buf里，将偏移量置offset设置到pkt头+pkt数据之后，即...
2017-07-17 15:46:00
1392
转载 pcap文件格式分析
pcap文件格式是常用的数据报存储格式，包括wireshark在内的主流抓包软件都可以生成这种格式的数据包,下面对这种格式的文件简单分析一下： pcap文件的格式为： 文件头 24字节 数据报头 + 数据报数据包头为16字节，后面紧跟数据报 数据报头 + 数据报 ......1.pcap文件头（24B）结构 pcap文件头...
2017-07-13 19:52:00
198
转载 过滤器实例——字符编码Filter
字符编码过滤器是一种快速解决Tomcat服务器中request和response乱码问题的解决方案。一般程序中要解决request、resopnse传中文参数乱码问题时一般通过在取参数前对request进行setCharacterEncoding（"UTF-8"）编码设置，这种方法需要在每个要使用的页面中都进行编码设置，用起来十分麻烦。字符编码过滤器通过在每个页面访问前执行Filte...
2017-07-12 22:08:00
281
转载 jsp+mysql使用原生jdbc步骤
jsp+mysql使用原生jdbc步骤： 1.首先加载驱动。DriverManager.registerDriver(new com.mysql.jdbc.Driver()); 2.获取Connection链接//unicode=true&&Encoding=UTF-8"指定存取数据时字符编码格式Connection conn=D...
2017-07-12 09:41:00
141
转载 jsp常见获取地址函数之间的不同
对jsp中常用地址获取函数进行区分测试函数：test1.jsp=======================<a href ="test.jsp?p=fuck">跳转到test2</a>test2.jsp=======================<%@ page language="java" import="java.u...
2017-07-08 16:57:00
74
原创 欢迎使用CSDN-markdown编辑器
#- (void)cachedData:(NSString *)key url:(NSString *)url。
2016-08-12 16:25:39
153
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人