- 博客(7)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Scala远程访问Hive数据仓库
通过Hue等远程WebUI界面访问Hive，效率往往受到网络限制，并且不能将Hive数据仓库的内容实现导入导出到本地，因此，今天笔者就通过简单的Scala代码远程连接Hive，查询Hive表数据并将数据转存到本地。另外，用Scala查询到数据后，我们还可以将查询到的ResultSet集合转化为RDD或者DataFrame进行scala的算子运算，非常方便，这些实现，笔者会后续更新。 ...
2018-04-25 19:06:33
5932
原创 Java多线程的生命周期与同步锁
Thread state线程生命周期内的几种状态NEW A thread that has not yet started in this statesRUNNABLE A thread executing in the Java virtual machine is in this stateBLOCKED A thread that is blocked...
2018-04-20 14:47:30
475
1
原创 ES Mapping及常用API小结
ES中的MappingMapping就是对索引库中索引的字段名称及其数据类型进行定义，类似于mysql中的表结构信息，但ES中的mapping比数据库灵活很多，它可以动态识别字段。一般不需要指定mapping字段都可以，因为ES会自动根据数据格式识别它的类型，如果你需要对某些字段添加特殊属性（如：定义使用其他分词器、是否分词、是否存库等），就必须手动添加mapping查询索引库中mapping信息...
2018-04-19 17:53:06
1881
原创 Ubantu14.04.2安装HUE3.12.0
前提：HDFS集群、HIve和MySQL都已经安装完毕1.在ubantu中安装maven，下载好安装包，解压并配置环境变量2.安装hue的依赖包，需要以下的依赖包或者，一行命令安装所有依赖包sudo apt-get install ant gcc g++ libkrb5-dev libffi-dev libmysqlclient-dev libssl-dev libsasl2-dev libsas...
2018-04-18 16:11:26
328
原创 Hadoop集群升级HA高可用集群配置
在原有的Hadoop集群的基础上，配置HA高可用集群，简单修改配置文件，具体配置及启动方案如下：（先停止Hadoop集群）修改core-site.xml（指定ZK集群，使ZK能够监督master的运行，启动备用节点，我的主节点主机名为Kate，并非master，配置HA的时候改名为apollo，个人喜好，请注意，酌情忽略此细节）未修改之前的core-site.xml修改之后：就是增加一个prope...
2018-04-16 16:58:54
2590
7
原创 FHDFS搭建指南
F: freestyleHDFS: Hadoop分布式文件系统FHDFS ：花式Hadoop分布式文件系统ZooKeeper主要应用在分布式系统中，连接不同的主机节点，我的理解是ZooKeeper这个东西就像建立在分布式系统、hadoop或HBase之上的一个国家机器，高度集权，同步管理各个节点我们知道，Linux系统是一个可以多用户同时操作的系统，在一个系统上可以多用户同时远程连接操作这台...
2018-04-14 11:56:17
345
原创 ES的Java API实现增删改查
/** * @MethodName: bulkCreateIndexByJSONArray * @Description: 使用bulk批量处理JSONArray创建索引导入文档，每BatchSize条文档执行一次bulk * @Param: * * @param client TransportClient对象实例 * @param js...
2018-04-13 17:48:42
3604
王晓云：How to Break MD5 and Other Hash Functions
2018-09-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人