- 博客(12)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 使用gogs搭建git服务器
作为一个研发经理必须要掌握一些基本开发工具的搭建，比如maven仓库、yum镜像仓库、敏捷开发项目管理的软件，最重要的莫属git仓库。这里介绍一个国人用go语言写的git仓库，界面友好、功能齐全。 官方github地址:https://github.com/gogits/gogs 安装安装部署的东西，我的观点是能用docker就用docker。因为部署安装的东西比较细、...
2017-11-30 11:12:14
8171
2
原创 spark-sql(二)---ThriftServer模式
ThriftServerThriftServer和和hiveserver2类似，提供了jdbc/odbc的接口，spark-sql以这种模式启动后可以以服务的形式提供SQL查询。 客户端可以用jdbc直接访问spark-sql，用sql进行交互。启动安装配置接前面链接 http://blog.csdn.net/dante_003/article/details/78652534
2017-11-28 18:14:27
5839
原创 spark-sql(一)---cli模式
spark-sqlspark-sql是spark+hive的结合，和hive on spark非常相似，但实现不一样。spark-sql是由spark官方维护，在hive的基础上修改了sql解析任务和执行任务的部分。安装环境hadoop环境（自行安装）spark2.2安装安装很简单，spark开箱即用。从官网上面下载spark后，解压到指定目录，配置好SPARK_HOME环境变量就可以了。只需
2017-11-28 11:16:23
5603
原创 docker一键部署启动java web项目
docker离线环境在linux上一键部署启动java web项目部署企业应用经常会遇到一些问题，根据以往的经验大概罗列一下：离线环境。不能访问公网，不能下载各种包，特别是在linux中不能用yum来安装所需要的环境。实施人员对部署环境不能掌控。部署软件特别多的情况下，经常由于实施人员细节的小错误造成启动失败，以至于一直打电话排查原因。软件多繁杂。
2017-11-22 11:49:53
6256
原创 elasticsearch详解(四)——elasticsearch数据的基本操作
elasticseach的基本操作api和elasticsearch交互有两个方式，一种是http的方式，另一种是es的java客户端用tcp，用java代码交互，这也是前面我们看到的elasticsearch会暴漏出两个9200httpserver、9300tcpserver。http的方式最为简单且常用，这里列举一些es常用的数据操作rest接口。
2017-11-20 14:48:10
6970
原创 elasticsearch详解(三)——elasticsearch配置安装
elasticsearch配置安装1.安装环境centos 7.2(可以使用docker就可以，后面用docker启动插件) jdk1.8 elasticsearch 5.62.安装jdk略3.安装elasticsearch
2017-11-16 15:40:26
5185
原创 elasticsearch详解(二)——初识es
基本概念es里面有很多核心概念，从一开始了解这些概念会更有助于了解es。准实时（NRT,near realtime）es是一个准实时的搜索平台，这就意味当你存一条数据进去到可以搜索到中间有一定延迟（一般是一秒左右）。集群集群是存有数据多个节点的集合。集群用名字来作为唯一标志，默认为“elasticsearch”。集群的名字非常重要，因为一个节点只能属于一个集群。节点es集群的一部分，节点是
2017-11-16 14:39:07
7192
原创 elasticsearch详解(一)——es是什么、能做什么？
es是什么elasticsearch简写es，es是一个高扩展、开源的全文检索和分析引擎，它可以准实时地快速存储、搜索、分析海量的数据。什么是全文检索全文检索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。全文搜索搜索引
2017-11-16 14:35:28
46905
1
原创 hive on spark安装(hive2.3 spark2.1)
简介之前有写过hive on spark的一个文档，hive版本为2.0，spark版本为1.5。spark升级到2.0后，性能有所提升，程序文件的编排也和之前不一样，这里再更新一个最新的部署方式。 spark2.0引入了spark session的概念，创建一个spark任务和之前也不一样，之前版本的hive并不能兼容spark2.0，所以推荐使用hive2.3以后的版本。安装步骤可参考官网ht
2017-11-01 18:18:08
19197
7
原创 phoenix全局索引和本地索引测试
1.测试表说明原hbase表是只有1个列族，算上rowkey一共6个字段的hbase表。 一共37个regions，数据量一共3亿6千4百万 hbase中表描述 数据样例 数据量 2.建立索引hbase的二级索引在phoenix中建立。 建索引的语句如下,建好索引之后，有数据的变更索引数据和原始数据会实时的同步更新create index car_ind
2017-11-01 10:51:16
11879
11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人