- 博客(23)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Odoo集成Elasticsearch
前言在odoo开发的过程中，经常会出现对数据进行全文搜索的需求，而odoo本身是高度集成了postgreSql。尽管pgsql支持全文搜索的功能，但是pgsql承担了odoo的绝大多数业务数据存储，压力相对交大，我们希望让pgsql专心去做业务数据的处理，进而使用第三方引擎来支持全文搜索。有关全文搜索的搜索引擎，第一时间当然就是想到Elasticsearch。整体架构ElasticSearch安装1）安装分词器找到你的es安装目录的bin目录下，执行以下命令安装中文ik分词器记得切换你的es启
2021-12-31 14:46:53
897
原创 CDHkafka的连接超时bug
在CDH中，集群节点的名字是根据/etc/hosts中的配置和hostname自动配置的，在kafka中的patition分区中的分区地址是用的host映射而不是ip，这里就会导致一个比较重大的bug。当你采用不同的机器进行消费或者生产的时候（查看topic和分区之类的不算），如果你的新机器没有把host映射配置的和集群完全相同，就会导致找不到分区的host映射ip，从而链接超时。而这个错误在开发中，你的代码没有错误缺返回了连接超时的报错， 非常坑。我采用两台linux不同kafka，一台生产数据到另
2021-01-04 18:11:24
456
原创 Arknights部署
0.前言需要基础的编程经验，自动部署脚本仍在开发中（在做了，在做了）。推荐在Linux上部署，Windows和Mac系统理论上同样可以部署，但未经充分测试，开发环境为Linux（CentOS7.5）。1.项目下载本项目为java项目，依赖于jdk，推荐jdk1.8。安装jdk（CentOS系统，其余系统自行百度）yum install openjdk-8-jdk项目git地址：https://github.com/Strelizia02/ArknightsAPI使用git克隆项目，或者下载
2020-12-10 16:42:25
1120
原创 influxdbJavaSDK的使用以及与spark的集成
influxdb中文文档这个文档应该是个人翻译的，不是很全，也可以去官网看英文文档。下载和安装安装前先检查端口是否有占用，influxdb主要使用的端口是8086、8088和8083netstat -tulnp|grep 8086如果发现有占用的话选择停止掉或者修改influx默认端口。rpm包安装wget https://dl.influxdata.com/influxdb/releases/influxdb-1.8.2.x86_64.rpmyum localinstall influx
2020-11-06 16:50:09
1422
4
原创 CentOS7命令行方式搭建Oracle11gR2
准备工作关闭SELINUXvim /etc/selinux/configSELINUX=disabled关闭防火墙systemctl stop firewalldsystemctl disable firewalld安装iptablesyum -y install iptables-servicessystemctl restart iptables.servicesystemctl enable iptables.service下载oracle安装包创建新用户和组group
2020-10-22 09:44:15
145
原创 CDH安装ELK及简单应用
安装elasticsearchCDH中没有官方提供Elastic的parce包，但是问题不大，CDH提供了一个编译工具可以自行打parcel包。对于其他的分布式工具大部分都可以通过这种方式进行CDH安装，由CDH进行统一的分配、配置管理。既然有CDH这个管理工具，当然就尽量把所有组件都进行统一管理了。安装git、mavenyum install gitgit versionwget https://apache.website-solution.net/maven/maven-3/3.6.3/bi
2020-10-19 17:41:11
365
1
原创 使用DBeaver链接Hive、Hbase（Phoenix）、ElasticSearch、Oracle
首先在安装DBeaver后，需要修改配置文件让他找到你的本地jdk路径。在你的DBeaver安装路径的主目录下有一个DBeaver.ini文件，在首行添加你的jdk安装路径-vmD:\ProgramFiles\jdk\bin连接Hive打开DBeaver后，文件->新建，这里面有很多预置的JDBC链接，选择Hive。Hive的链接需要保证Hive的HiveServer2开启，如果没有开启，在Hive的安装目录/bin下启动HiveServer2。这个进程默认是通过10000端口进行服
2020-10-16 16:49:42
1171
原创 ElasticSearch安装和简单应用
安装elasticsearch前置操作elasticsearch依赖于jdk，而elasticsearch禁止使用root用户启动，如果使用root用户启动会出现。Exception in thread "main" java.lang.RuntimeException: don't run elasticsearch as root.at org.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:93)at or
2020-10-13 16:13:05
143
原创 connect() to 192.168.15.101:8080 failed (13: Permission denied) while connect to upstream
在设置nginx的反向代理的时候，会出现这样一个错误。An error occurred.Sorry, the page you are looking for is currently unavailable.Please try again later.If you are the system administrator of this resource then you should check the error log for details.Faithfully yours, n
2020-10-13 11:16:37
765
1
原创 spark报错jjava.lang.NoClassDefFoundError: org/slf4j/spi/LoggerFactoryBinder
完整错误Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/spi/LoggerFactoryBinder at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.java:756) at java.security.SecureClassLoader.defineC.
2020-09-30 16:34:05
1860
2
原创 NiFi集成Hive版本问题
使用CDH的集成Hive和NiFi1.12.0集成使用时，一致在报错Required field ‘client_protocol’ is unset! Struct:TOpenSessionReq这个错误很大可能就是jdbc和Hive的版本不匹配。遇到问题这里nifi使用的版本是1.12.0，nifi1.4.0起就不再和hive1.1.0兼容了，而CDH默认是安装Hive1.1.0。因此会产生兼容性的问题，会报一个版本问题的错。Required field 'client_protocol' i
2020-09-25 17:51:04
569
原创 NIFI简易demo
首先我们需要搭建一个nifi的环境。这个demo可以简单的理解为，使用nifi创建一个web服务，编写一个简单的web页面，使用js的websocket向某个端口发送信息，再由nifi监控这个端口，将监听到的数据保存，可以使用httpd的方式查看。首先我们需要安装一个httpdyum install -y httpdsystemctl start httpdsystemctl enable httpdmkdir /var/www/html/logs然后我们访问cdh02:58080/nifi
2020-09-03 11:52:20
798
2
原创 NIFI单机版搭建
下载nifi安装包，可以从官网下载，但是比较慢，建议从清华或者其他的镜像站下载。清华镜像站的nifi下载链接在镜像站的apache目录下一般都有一个nifi的下载目录。建议直接wget下载到服务器上，安装包有1.5G左右，下载再上传很浪费时间。下载好后tar -xzvf 解压。cd nifi-1.12.0/confvim nifi.properties进入nifi的配置文件目录，修改nifi.properties配置文件。# web properties #nifi.web.http.ho
2020-09-03 10:35:48
434
原创 java.lang.IllegalArgumentException: requirement failed: Column features must be of type struct
在学习spark的机器学习的时候出现了这么一个错误Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Column features must be of type struct<type:tinyint,size:int,indices:array<int>,values:array<double>> but was actually struct<
2020-08-31 15:03:43
2091
原创 CDHkafka安装报错deploy client configuration fail
Kafka安装报错deploy client configuration fail。Kafka启动报错Service has only 0 Kafka Broker roles running instead of minimum required 1这有可能是JAVA_HOME的问题，重新配置一下，或者也有可能是软连接没设置好，CDH去默认路径找jdk没找到，重新设置一下jdk软连接。CDH5默认的jdk路径是/usr/java/default，要么你把路径迁过去再修改环境变量，也可以做一个软连接
2020-08-28 10:16:47
930
原创 Unable to instantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient错误解析
在运行hive的时候出现了这个问题。FAILED: SemanticExceptionorg.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient这种问题原因就是hive找不到配置文件设置的mysql，修改hive-site.xml保证里面的m
2020-08-28 10:10:07
1494
原创 scala.util.matching (Java String,Java Long/Scala String,Scala Long)V错误解析
Exception in thread “main” java.lang.NoSuchMethodError: scala.util.matching (Java String,Java Long/Scala String,Scala Long)Vat org.apache.spark.internal.config.ConfigBuilder.(ConfigBuilder.scala:177)at org.apache.spark.sql.internal.SQLConf.buildConf(SQLC
2020-08-28 10:02:58
234
原创 ERROR tool.ExportTool: Error during export: Export job failed!错误解析
在使用sqoop导出数据的时候出现了这种报错。20/08/27 15:03:05 ERROR tool.ExportTool: Error during export: Export job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:439) at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931
2020-08-27 18:38:14
10364
3
原创 sparkcore-sparksql数据清洗
数据格式原格式日期时间种类监测站1数据监测站…数据StringIntStringDoubleDouble数据清洗PM2.5表、O3表…时间监测站数据String（“yyyy-MM-dd-HH“）StringDouble这样会出现大量数据冗余但是去掉了空值，并且以时间和监测站为主键更加容易操作。源数据表节选：datehourtype1001A1002A201501021AQI117852
2020-08-27 16:01:20
1179
原创 Spark电商项目实战(框架编程，三层架构，六个需求三个离线三个实时)
*电商项目实战*项目使用scala编写，项目中使用的数据下载链接数据内容为电商的用户点击数据，以”-”分隔，部分数据示例：2019-07-17_95_26070e87-1ad7-49a3-8fb3-cc741facaddf_37_2019-07-17 00:00:02_手机_-1_-1_null_null_null_null_32019-07-17_95_26070e87-1ad7-49a3-8fb3-cc741facaddf_48_2019-07-17 00:00:10_null_16_98_nu
2020-08-21 16:00:59
1788
原创 saprk及scala环境搭建
*1.本地idea配置scala*访问scala官网下载scala安装包，windows和linux都需要。先配置本地scala，解压scala-{版本号}.zip文件配置环境变量，和jdk一样。SCALA_HOME->new %SCALA_HOME%=”解压路径”PATH->添加%SCALA_HOME%/bin;Win+R，输入scala可以运行就配置成功。打开idea->File->Settings->plugins从本地选择插件安装在idea官网上可以
2020-08-21 14:56:25
209
原创 apache方式搭建hadoop集群
*0.前言*Apache模式搭建非常繁琐，需要配置很多配置文件，仅供学习使用，因为apache的hadoop是开源的，方便学习其内部的实现原理。实际生产中效率低，更推荐CDH等其他方式进行配置，CDH拥有自己的WEB管理页面，更方便对组件进行管理。*1.集群准备*虚拟机使用vmware。其实啥都一样，电脑性能跟不上的租阿里云腾讯云都可以，一定要支持CPU虚拟化。先准备至少三个节点，要根据不同性能安排不同的进程。我这里分配的是hadoop01,4G内存Hadoop0203都是2G内存，以hadoop
2020-08-21 14:38:10
539
原创 使用CDH5.14.0方式Cloudera Manager快速搭建hadoop集群
*1.前置操作*准备了四台虚拟机。root密码均为WHDCone7888#*修改hosts文件*在四台节点上修改hosts文件，并且最好更改自己的hostname。映射命名如上。vim /etc/hosts10.3.69.80 cdh0010.3.69.81 cdh0110.3.69.82 cdh0210.3.69.83 cdh03hostnamectl set-hostname cdh00hostnamectl set-hostname cdh01hostnamectl set-ho
2020-08-21 14:09:06
663
sparkDemo.rar
2020-08-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人