- 博客(13)
- 收藏
- 关注
RSS订阅转载 SCALA学习
SCALA学习笔记（一）原创 2015年02月27日 08:46:43标签：scala /函数式编程21728SCALA学习笔记（一）SCALA学习笔记一变量函数定义方法调用函数字面量FUNCTION LITERALS闭包ClosureArray与Array的基本操作FOR循环模式匹配Patte
2017-11-05 09:55:48
394
转载 hbase-site.xml参数集合
该文档是用hbase默认配置文件生成的，文件源是 hbase-default.xml。在实际的HBase生产环境中应用于%HBASE_HOME%/conf/hbase-site.xml中。hbase.rootdir这个目录是region server的共享目录，用来持久化HBase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hb
2017-10-31 15:42:56
377
转载 Java单例模式中双重检查锁的问题
单例创建模式是一个通用的编程习语。和多线程一起使用时，必需使用某种类型的同步。在努力创建更有效的代码时，Java 程序员们创建了双重检查锁定习语，将其和单例创建模式一起使用，从而限制同步代码量。然而，由于一些不太常见的 Java 内存模型细节的原因，并不能保证这个双重检查锁定习语有效。它偶尔会失败，而不是总失败。此外，它失败的原因并不明显，还包含 Java 内存模型的一些隐秘细节。这些
2017-10-31 15:37:33
570
原创 spark 读取hbase数据并转化为dataFrame
最近两天研究spark直接读取hbase数据，并将其转化为dataframe。之所以这么做，1、公司的数据主要存储在hbase之中2、使用dataframe，更容易实现计算。 尽管hbase的官方已经提供了hbase-spark 接口，但是并未对外发布，而且目前的项目又有这方面的需求，且网上关于这么方面的参考比较少， 故贴出来，代码如下，仅供参考
2017-09-05 19:28:50
2592
原创 spark rdd 和 DF 转换
分类：python-spark（14） SPARK（54） RDD -》 DF 有两种方式一、 一、Inferring the Schema Using Reflection 将 RDD[t] 转为一个 object ,然后 to df val peopleDF = spark.sparkCont
2017-09-05 19:26:00
1698
原创 spark从hdfs上读取文件运行wordcount
1.配置环境说明Hadoop配置节点：sg202(namenode SecondaryNameNode) sg206(datanode) sg207(datanode) sg208(datanode)Spark配置节点：sg201(Master) sg211(Worker)2.从hdfs上读取文件并运行wordcounta. 登录hadoop的主节点sg202
2017-09-05 19:24:52
588
原创 scala读取HDFS文件，每次读取一定的字节数
版权声明：本文为博主原创文章，未经博主允许不得转载。用scala读取一个只有字符的文件，该文件是已经清洗完的数据，有规律，一行是一条数据。现在的需求是一次读取文件中的一部分，依次读取完。如果有疑问，或者找出错误的解决方案，请和我联系。一起研究讨论[plain] view plain copy import java.io.IOException import java.
2017-09-05 19:23:32
1619
原创 Spark从外部读取数据之textFile
Spark从外部读取数据之textFile标签： spark大数据数据源码2016-07-11 06:13 17091人阅读 评论(7) 收藏 举报 分类：spark源码阅读笔记（14） 版权声明：本文为博主原创文章，未经博主允许不得转载。textFile函数/** * Read a text
2017-09-04 17:44:51
578
原创 x-pack安装结合elasticsearch5.4和kibana5.4
Kibana5.4安装包下载地址：https://artifacts.elastic.co/downloads/kibana/kibana-5.4.0-linux-x86_64.tar.gz 解压后修改配置文件kibana.yml server.port: 5015 (默认5601端口)server.host: "0.0.0.0"el
2017-09-04 15:13:34
237
原创 Scala 文件写入
Scala 文件写入 //文件写入 val writer = new PrintWriter(new File("learningScala.txt")) for(i 1 to 100) writer.println(i) writer.close()1234512345报错：Error:(28, 38) not found: type Fi
2017-09-04 09:55:32
9986
转载 Scala之文件读取、写入、控制台操作
Scala文件读取E盘根目录下scalaIO.txt文件内容如下：文件读取示例代码： //文件读取 val file=Source.fromFile("E:\\scalaIO.txt") for(line file.getLines) { println(line) } file.close123456712345
2017-09-04 09:52:26
17765
转载 初学Hadoop之WordCount词频统计
阅读目录1、WordCount源码2、编译源码3、运行4、查看结果回到目录1、WordCount源码 将源码文件WordCount.java放到Hadoop2.6.0文件夹中。import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.c
2017-09-01 16:15:37
1290
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人