![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据学习
入职新公司,开始大数据学习,万事开头难,加油!!!
多写文章能生发
这个作者很懒,什么都没留下…
展开
-
Hadoop设置访问控制列表时报错:setfacl: The ACL operation has been rejected
Hadoop设置访问控制列表原创 2022-06-28 09:43:06 · 1116 阅读 · 1 评论 -
使用中间件mycat实现MySQL读写分离(初步,navicat测试可行)
Mycat安装包点这里获取解压到合适的目录下:修改conf目录下的server.xml和schema.xml配置文件:①修改server.xml配置vim打开server.xml拉到底部默认有两个user的配置: <user name="root" defaultAccount="true"> <property name="password">123456</property> <prope原创 2022-04-09 12:57:35 · 3587 阅读 · 0 评论 -
CDH集群数据迁移时报错:org.apache.hadoop.hive.ql.exec.DDLTask (state=08S01,code=1)
CDH集群中做hive数据迁移,通过hdfs dfs -put将本地数据文件上传到hdfs的路径中,然后通过beeline执行create table命令,在执行msck repair table命令做分区修复时出现如下报错:报错关键字:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTaskError while processing statement: FAILED: Execution原创 2022-04-08 19:37:14 · 3283 阅读 · 0 评论 -
Attempting to connect to :[121.45.23.45:5672]springboot连接rabbitmq超时
项目在服务器上部署时连接rabbitmq没任何问题,但是本地开发连接rabbitmq时一直连接不上,报错如下:一直在连接rabbitmq:网上说的各种方式都试过了,还是不行,最后看了一篇文章受点启发解决了,但是觉得还是有点迷糊,先记录下:①在服务器上使用hostname命令查看服务器的主机名②把服务器的主机名复制下来添加到/etc/hosts文件中127.0.0.1所在行的最后(前面有个空格)...原创 2021-11-20 19:11:19 · 7570 阅读 · 1 评论 -
使用elasticsearch-head插件创建索引并设置mapping信息
第一步:创建索引第二步:设置mapping(映射)信息原创 2021-11-11 18:28:20 · 4117 阅读 · 1 评论 -
ES查询报错:Fielddata is disabled on text fields by default. Set fielddata=true on [no] in order to load
我这里排序的字段类型是text,因为是自己学习,数据量也小,看别人说需要把字段类型改为keyword,然后我把索引删掉,重新建索引的时候使用了keyword类型,然后就能排序了。原创 2021-09-12 15:28:37 · 416 阅读 · 0 评论 -
Elasticsearch-head复制ES索引结构包含数据
创建新索引(空的,无数据):需要复制数据的旧索引:复制索引数据语句:POST _reindex/ { "source": { "index": "ceshi1" }, "dest": { "index": "test_0904", "op_type": "create" } }写法看下图:查看新索引中数据:可以看到数据已经复制进来了。...原创 2021-09-06 21:59:42 · 1185 阅读 · 0 评论 -
ElasticSearch创建索引报错:mapper_parsing_exception Root mapping definition has unsupported parameters
错误翻译:mapper_parsing_exception :映射解析异常Root mapping definition has unsupported parameters :根映射定义包含不受支持的参数错误映射语句:{ "test_0904": { "mappings": { "user": { "properties": { "birthday": { .原创 2021-09-05 20:24:18 · 12628 阅读 · 0 评论 -
springboot整合ElasticSearch实现文档查询(使用JestClient进行查询)
第一步:添加依赖 <!--elasticsearch--> <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version>5.6.14</version> <原创 2021-09-03 16:20:10 · 626 阅读 · 0 评论 -
ElasticSearch查询结果详解
使用ElasticSearch-head插件查询结果如下:Java代码中通过JestClient查询ElasticSearch结果如下:下面对查询结果中的各个字段做下了解:原创 2021-09-02 22:38:56 · 771 阅读 · 0 评论 -
JestClient查询ElasticSearch结果JestResult组成说明(JestResult结果为什么不是JSON字符串,JestResult重写toString()方法)
先做一个简单的针对ElasticSearch的查询demo: @GetMapping("/es") @ApiOperation("ES整合测试") public Map<String,Object> getES(String indexName,String typeName){ Map<String,Object> result = new HashMap<>(); try { Searc原创 2021-09-02 22:09:11 · 627 阅读 · 0 评论 -
Java代码测试FastDFS存储服务器
上篇文章:FastDFS文件存储服务器搭建我已经把fdfs服务器搭建好了,这篇文章我通过Java代码测试一下这个服务第一步:pom文件中引用依赖:<dependency> <groupId>net.oschina.zcx7878</groupId> <artifactId>fastdfs-client-java</artifactId> <version>1.27.0.0</version></depend原创 2021-07-27 21:22:10 · 504 阅读 · 0 评论 -
FastDFS文件存储服务器搭建
准备工作(需要的包还是挺多的):①获取安装包,自行获取,没有的话我这里准备好了。链接:https://pan.baidu.com/s/1cjR5PUSV9x2NJ3QBOjCAuw提取码:1234包下载下来解压后是这样的:②把安装包里的内容上传到服务器mkdir /opt/soft_pkgcd /opt/soft_pkg然后上传所有需要的包到这个目录,如下图:第一步:安装gcccd gccrpm -Uvh *.rpm --nodeps --force安装结果:第二步:安装原创 2021-07-27 20:43:57 · 588 阅读 · 0 评论 -
elasticsearch.client.transport.NoNodeAvailableException: None of the configured nodes are available
项目中使用ES查询报错:报错主要信息:org.elasticsearch.client.transport.NoNodeAvailableException: None of the configured nodes are available我是刚刚接触elasticsearch,这个问题研究了小半天,其实问题是这样的:elasticsearch有两个端口:http_port和transport.tcp.port这里先解释下这两个端口:①http_port是ES节点与外部通讯使用的端口。它原创 2021-07-26 22:22:19 · 5585 阅读 · 0 评论 -
Hbase学习(创建namespace、表等操作)
进入hbase命令行命令:hbase shell创建namespace(其实我理解这个namespace就像MySql中的库的概念一样,库里可以创建表,那么namespace里也可以创建表):create_namespace 'namespace_test'如图所示,namespace已经创建成功。在刚刚创建的命名空间下创建表:create 'namespace_test:table_test',{NAME => 'name', VERSIONS => 100},{NAME原创 2021-07-13 22:52:57 · 5774 阅读 · 0 评论 -
Hbase写入时报空指针
简单上一部分代码:=Configuration conf = HBaseConfiguration.create();conf.set("hbase.zookeeper.quorum", zookeeperQuorum);conf.set("zookeeper.znode.parent", znode);conf.set("hbase.security.authentication.tbds.secureid", secureId);conf.set("hbase.security.authent原创 2021-07-13 22:19:29 · 378 阅读 · 0 评论 -
elasticsearch-head插件学习使用
基本查询无条件查询某个索引下的数据:使用条件查询索引下数据:复合查询统计索引下的数据量:清空索引下的数据:删除索引:暂时学习到这么多。原创 2021-07-09 20:04:10 · 220 阅读 · 2 评论 -
本地电脑添加公司集群IP和域名的对应关系(win10环境下不能修改hosts文件)
一般情况下公司各个服务在集群中的安装位置是固定的,就算集群迁移,服务和集群的域名对应关系一般是不会变的,方便维护。今天打算把公司集群的IP和域名对应关系添加到本地,方便工作。可是打开hosts文件才发现文件不能修改:百度了很多方法,不如增加属性、修改权限等等,都不好使,最后尝试了一种方法修改成功了:大致流程就是原来的hosts文件改个名字留着不动,以防万一,新建个txt文本文件,把名字命名成hosts,删掉后缀名txt,然后把集群的IP和域名对应关系写进去就可以了。最后说下,文章分类比较杂乱,这原创 2021-07-08 10:58:33 · 333 阅读 · 0 评论