![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 86
李奈 - Leemon
这个作者很懒,什么都没留下…
展开
-
SpringBoot使用Hbase
以前都是在非Spring环境下使用Hbase的,一开始会出现:当服务使用时间过久,某些会使用hbase的接口调用次数过多的时候,会报【已超过最大的连接数】,只能每一次调用接口后最后一行加上释放连接。(以前的做法每次调用都要在代码里手动获取一个连接)这次将释放连接都集成在操作服务类的实现方法中,避免了开发接口可能遗漏的错误,可能不会再出现这个问题。init()方法实现在初始化连接池的时候创建默认数值的连接。这里没有使用懒加载模式,减少启动后第一次访问时访问时间过长。ok,现在就可以操作使用了。原创 2023-04-15 09:44:53 · 2535 阅读 · 1 评论 -
Elasticsearch入门 - Mac上Elasticsearch和Kibana的安装运行与简单使用
Elasticsearch是一个基于Apache Lucene的搜索服务器,适用于所有类型的数据,包括文本、数字、地理空间、结构化和非结构化数据,是是ELK的一个组成部分(ELK代表的是:E就是ElasticSearch,L就是Logstach,K就是kibana)。这里的模糊查询跟关系型数据库的模糊查询有较大的差异,关系型的模糊查询与上面的分词,短句查询类似,Elasticsearch的模糊查询是指查询出参数内容和实际内容的编辑距离在2以内的文档。结果查出的记录id分别为:2,5,6。原创 2023-01-18 11:06:30 · 2510 阅读 · 0 评论 -
Hive安装和基本操作
Hive安装和基本操作一,Hive的安裝(Mac)首先從官網 http://archive.apache.org/dist/hive/ 下載hive版本,解壓到 /usr/local目錄下1.1環境配置先通過 .bash_profile添加環境變量sudo vim ~/.bash_profileexport HIVE_HOME=/usr/local/hive-2.2.0export PATH=$PATH:$HIVE_HOME/bin然後使添加的環境變量生效source ~/.bas原创 2022-04-26 10:23:59 · 240 阅读 · 0 评论 -
Spark入门基本操作
Spark基本操作一,Spark的安裝以后补上二,Spark介紹2.1 RDD2.1.1 RDD及其特點RDD是Spark的核心数据模型,但是个抽象类,全称为Resillient Distributed Dataset,即弹性分布式数据集。2、RDD在抽象上来说是一种元素集合,包含了数据。它是被分区的,分为多个分区,每个分区分布在集群中的不同节点上,从而让RDD中的数据可以被并行操作。(分布式数据集)3、RDD通常通过Hadoop上的文件,即HDFS文件或者Hive表,来进行创建;有时也可以原创 2022-04-22 17:02:54 · 3315 阅读 · 0 评论 -
Hbase安装以及基本操作
Hbase基礎學習文章目录Hbase基礎學習一,HBASE的安裝(MAC環境)1.1 修改配置文件1.1.1 hbase-env.sh1.1.2 hbase-site.xml1.2 配置環境變量1.3 運行1.4 常見問題1.4.1 JAVA_HOME is not set1.4.2 KeeperErrorCode = ConnectionLoss for /hbase1.4.3 hadoop安裝後hbase的ruby出錯二,Hbase常用命令三,Java使用Hbase3.1 过滤器Filter3.2 H原创 2022-04-21 10:53:19 · 2742 阅读 · 0 评论 -
Hadoop安装以及基本操作
Hadoop安装以及基本操作一,Hadoop的安裝(Mac)下載Hadoop https://archive.apache.org/dist/hadoop/core/到自定義目錄下 ,我這邊下載的是hadoop-2.4.0版本,下載到/usr/local/目錄下。1.1環境配置先通過 .bash_profile添加環境變量sudo vim ~/.bash_profile# hadoopexport HADOOP_HOME=/usr/local/hadoop-2.4.0export HAD原创 2022-04-20 09:58:57 · 819 阅读 · 0 评论