- 博客(26)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 常见的接口形式的适用应用场景都有哪些
需要注意的是，不同的接口类型有其特定的应用场景，具体的选择应根据实际需求和系统架构而定。同时，使用合适的接口类型可以提高系统的性能、可扩展性和可维护性。
2024-01-04 14:04:37
612
原创 信息系统集成时，常见的接口形式及优缺点有哪些
CORBA和Java RMI比较适用于分布式应用系统，但是需要较复杂的配置。具体选择哪种接口方式，需要根据实际业务需求和技术环境来进行权衡和选择。信息系统中集成的接口方式有以下几种：SOAP、RESTful、XML-RPC、JSON-RPC、CORBA、Java RMI等等。XML-RPC和JSON-RPC都是基于HTTP和XML/JSON的协议，轻巧，但是不够灵活。REST轻量级，适用于移动设备和Web应用程序，但是不太适合复杂的业务逻辑；SOAP可以保证可靠性和事务处理，但是比较臃肿；
2024-01-04 11:32:25
1753
原创 spark执行优化--将依赖的jar包上传至hdfs上（spark3.1.1）
spark执行过程优化------将spark运行的jar包上传到HDFS上，避免在提交任务时因为spark程序包过大导致的占用运行时间和cpu资源起因是在提交spark任务的时候，因为服务器处于离线状态，好多的依赖包无法通过网络进行下载，所以打成的spark程序包比较大，大概在200~300MB之间，每次通过spark-on-yarn提交任务时，总是有一段时间将本地的spark程序上传到hdfs，占用了太多的网络资源以及cpu。所以，通过配置spark.yarn.archive和spark.yarn.
2021-10-26 11:13:21
3597
原创 记录一次hbase宕机之后，对问题的排查
hbase宕机问题排查起因是在使用spark将数据库数据写入到hbase时，发现在正常运行过程中，突然发现了有三个spark任务突然假死，通过查看日志发现程序卡在了如下的位置：2021-10-18 18:23:58,158 INFO jdbc.Utils: Supplied authorities: 192.168.xx.xx:100002021-10-18 18:23:58,158 INFO jdbc.Utils: Resolved authority: 192.168.xx.xx:1000020
2021-10-19 10:26:14
564
原创 sqoop(四) sqoop密码的四种提供方式
sqoop(四) sqoop密码的四种提供方式1.明文模式明文模式是最为简单的方式。我们可以在执行sqoop命令时使用--password参数，这样我们就可以直接在命令行中输入密码来访问数据库。sqoop list-databases --connect jdbc:mysql://your_mysql_host \--username your_mysql_username --password your_mysql_password2.交互模式交互模式是一种常用的提供密码的方式。在执行sq
2021-05-12 10:41:07
698
原创 sqoop（三） --m参数详解
sqoop（三） --m参数详解Sqoop并行化是启多个map task实现的，-m(或–num-mappers)参数指定map task数，默认是四个。当指定为1时，可以不用设置split-by参数，不指定num-mappers时，默认为4，当不指定或者num-mappers大于1时，需要指定split-by参数。并行度不是设置的越大越好，map task的启动和销毁都会消耗资源，而且过多的数据库连接对数据库本身也会造成压力。在并行操作里，首先要解决输入数据是以什么方式负债均衡到多个map的，即怎么
2021-05-12 10:36:58
2065
原创 sqoop(二) sqoop job
sqoop(二) sqoop jobsqoop job的常用参数： --create <job-id> 创建一个新的sqoop任务 --delete <job-id> 删除sqoop任务 --exec <job-id> 运行任务 --list 列出已经保存的sqoop任务列表 --show <job-id> 显示已保存的任务的参数 --verbose 工作时打印更多的信息创建sqoop job任务：sqoop job \--create
2021-05-12 10:35:00
277
原创 sqoop（一）数据库数据导入hive
sqoop（一）数据库数据导入hive将达梦数据库数据导入到hive将达梦数据库的驱动放到sqoop安装路径下的lib路径下（其他数据库同样操作）sqoop命令是：sqoop import --driver dm.jdbc.driver.DmDriver --connect \ jdbc:dm://192.168.xx.xx:xxxx/METACENTER \ --username XXXXX \ --password xxxxx \ --query "select * from
2021-05-12 09:15:58
1107
原创 限制ftp用户只能访问指定文件夹
限制ftp用户只能访问指定文件夹1.添加ftp用户useradd -d /opt/test ftpuserpasswd ftpuser 2.设置权限，允许其他用户只能读取文件chmod 755 /opt/test3.修改ftp的配置文件，设置ftp用户的访问根路径vim /etc/vsftpd/vsftpd.confchroot_local_user=YESallow_writeable_chroot=YES4.重启ftp服务systemctl testart vsftpd5
2021-03-29 16:44:31
3157
原创 限制sftp用户访问指定的文件路径
限制sftp用户访问指定的文件路径1.新增sftp访问用户useradd -d /opt/test ftpuserpasswd ftpuser2.给文件夹赋权限(允许其他用户访问该路径进行读写)chmod -R 766 /opt/test3.限制ftpuser只能访问/opt/test 文件夹vim /etc/ssh/sshd_config将Subsystem sftp /usr/libexec/openssh/sftp-server 注释掉，并添加以下内容：#Subsystem s
2021-03-29 16:35:44
764
1
原创 DOCKER Warning:IPv4 forwarding is disabled. Networking will not work.
DOCKER Warning:IPv4 forwarding is disabled. Networking will not work.解决方法：在docker的宿主机上进入 /usr/lib/sysctl.d/目录下，然后在 00-system.conf 该文件下添加下行命令：net.ipv4.ip_forward=1保存退出后，重启network服务和docker服务即可systemctl restart networksystemctl restart docker...
2021-03-29 16:28:05
99
原创 springboot Invalid character found in the request target.The valid characters are defined RFC 7230
springboot Invalid character found in the request target.The valid characters are defined in RFC 7230 and RFC3986在项目启动后，发送请求时，报以下错误，错误信息是Invalid character found in the request target.The valid characters are defined in RFC 7230 and RFC3986该错误原因是因为高版本t
2020-09-23 10:29:23
528
原创 jdbc连接达梦数据库，read string from reader error
jdbc连接达梦数据库，read string from reader error用jdbc连接达梦数据库的时候，当数据表中的字段类型为clob类型，且存储的内容过大时，提示了下面所示的错误：reader string from reader error Caused by: java.io.IOException: 连接尚未建立或已经关闭 at dm.jdbc.driver.DmdbReader.readFromClob(DmdbReader.java:277) at dm.jdbc.drive
2020-09-04 14:32:30
1236
1
原创 dremio连接国产化达梦数据库
dremio连接国产化达梦数据库1.git项目地址https://github.com/beidouyunyun/dremio-dameng-connector.git2.修改事项修pom文件中的dremio的版本，具体的版本号可以通过dremio前端页面的help选项进行查看，修改位置如图：3.安装将编译后的jar包上传到dremio安装目录下的jars文件夹下，并将达梦数据库的驱动上传到jars目录下的3rdxx（具体名称忘记）文件夹下，然后重启dremio。可能会碰到的问题1.Uns
2020-09-01 17:24:48
593
原创 elasticsearch 支持拼音检索
elasticsearch 支持拼音检索1.下载安装对应es版本的拼音分词器下载地址：https://github.com/medcl/elasticsearch-analysis-pinyin/releases?after=v6.8.0因为我用的是6.8.0版本的es,所以下载的是6.8.0版本的插件。2.安装在es的plugins目录下，创建pinyin文件夹，将拼音分词器解压到pinyin文件夹目录下，然后重启es3.测试插件效果get http://ip:port/_analyze
2020-08-14 08:53:06
1707
原创 docker错误：Error response from daemon: No command specified
docker错误：Error response from daemon: No command specified记录一次docker 加载镜像启动后，出错的问题。操作记录：在执行docker save -o xxx.tar xxx时，没有使用镜像的名字加版本号的方式，而是采用了镜像id的方式，这样虽然同样可以保存镜像，但是造成了下面的问题。转移到另一台机器，执行docker load -i xxx.tar加载镜像时，会发现加载进来的镜像只有镜像id ，并不存在镜像名和版本号，为了方便
2020-08-12 17:23:16
13664
1
原创 dremio连接hive时出现的问题
dremio连接hive时出现的问题dremio在成功连接hive之后，会出现User: root is not allowed to impersonate admin问题，原因是在启动dremio的时候，是以root用户对dremio启动的，而dremio是需要以dremio用户来启动才能保证功能的正常运行，所以，只需要以dremio用户来启动即可。...
2020-07-23 15:13:13
518
原创 dremio解决where条件查询时，中文报错问题
dremio解决where条件查询时，中文报错问题问题描述Failed to encode ‘红楼梦’ in character set ‘ISO-8859-1’解决方法：修改dremio-env配置文件，将其中的dremio的默认编码进行修改，以下是讲默认编码修改为UTF-16为例：DREMIO_JAVA_SERVER_EXTRA_OPTS ='-Dsaffron.default.charset = UTF-16LE -Dsaffron.default.nationalcharset = UTF
2020-07-15 17:38:57
625
原创 Hive异常运行，导致任务堆积问题处理
Hive异常运行，导致任务堆积问题处理问题描述：hive运行时会卡死在 Tez session hasn’t been created yet。问题原因出现在yarn的内存分配问题及yarn中的任务执行数量。在yarn的内存方面，将tez-site.xml里的tez.am.resource.memory.mb的参数进行适量的增加。如果调大了内存之后依旧未解决该问题，查看yarn的任务执行页面{id}:8088，查看yarn的任务执行度。多半是因为yarn执行的任务堆积。此时批量kill 掉yar
2020-06-30 16:30:11
3623
1
原创 elasticsearch常见配置问题总结
elasticsearch常见配置问题总结ES内存大小的调整修改elasticsearch安装目录下的config/jvm.options的参数-Xms16g-Xmx16gelasticsearch默认字段大小的修改ES单个索引的默认字段大小为1000，但是在某些情况下需要对它的字段上限值进行调整，方法为：PUT zxy_kuan_test1（该参数为索引名）/_settings{ "index.mapping.total_fields.limit" : 2100（该数值为要设定的字段的
2020-06-30 16:18:30
2104
翻译 Kylin中的Hybrid Model
Kylin中的Hybrid Model官方文档地址：http://kylin.apache.org/blog/2015/09/25/hybrid-model/Apache kylin1.0中的混合模型（Hybrid Model）对于传入的SQL查询，kylin会选择一个实现来提供查询，在“Hybrid Modle”出现之前，只有Cube这一种实现方式为用户开放，即只会选择1个Cube来回答查询。有如下示例：某用户有一个叫做“Cube_V1”的Cube，已经构建了几个月，现在，用户希望添加新的维度或者
2020-06-30 16:08:17
663
原创 mysql+debezium+kafka+logstash+hdfs
mysql+debezium+kafka+logstash+hdfs利用debezium解析mysql的日志文件，将解析得到的日志文件传到kafka的topic中，最后利用logstash消费kafka中的数据到hdfs中。首先开启mysql的binlog修改/etc/my.cnf文件，在里面添加server-id = 100log-bin = mysql_binbinlog_format = ROWMysql需要一个有mysql slave权限的账号，如果mysql不在本机，则需要一个远程
2020-06-30 15:43:29
275
原创 kylin启动报错解决方法
kylin启动报错解决方法kylin启动报错Failed to find metadata store by url: kylin_metadata@hbaseException in thread "main" java.lang.IllegalArgumentException: Failed to find metadata store by url: kylin_metadata@hbase at org.apache.kylin.common.persistence.ResourceSt
2020-06-30 15:07:08
1358
dremio-dameng-plugin-4.1.3-202001022113020736-53142377.jar
2020-09-01
swt-arm64.jar.zip
2020-04-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人