2018年05月_learnbigger

12月 05月 04月

原创 flume hbase sink 分隔符为竖线|

##########agent1 conf##$ bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console#agent1agent1.sources = filesrcagent1.channels = filechanagent1.sinks =...

2018-05-22 13:49:56 1268 1

原创 centos7 sftp多用户配置与java客户端连接

知识背景SFTP 为 SSH的一部分。在SSH软件包中，已经包含了一个叫作SFTP(Secure File Transfer Protocol)的安全文件信息传输子系统，SFTP本身没有单独的守护进程，它必须使用sshd守护进程（端口号默认是22）来完成相应的连接和答复操作，所以从某种意义上来说，SFTP并不像一个服务器程序，而更像是一个客户端程序。SFTP同样是使用加密传输认证信息和传输的数据，...

2018-05-18 11:49:38 751 1

原创 java和HTTPS那些事儿

0,知识背景 HTTPS本质上就是HTTP+SSL,作为服务端提供安全服务的一种加密协议1,java作为客户端请求HTTPS 一般采用HTTPClient作为客户端来请求有两种做法: 一,绕过证书检查 java client请求的服务端一般都是相对较固定的几个url,完全可以设置信任所有的服务端,直接略过证书验证继承X509TrustManager,对证书验证部分直接ret...

2018-05-16 10:55:02 338

转载 centos7配置vsftpd/ftp

1,关闭防火墙,selinux=disabled,重启生效2,安装yum install -y vsftpdyum install -y ftp3,修改配置文件/etc/vsftpd/vsftpd.confanonymous_enable=NOanon_upload_enable=NOanon_mkdir_write_enable=YESchown_uploads=NOasync_ab...

2018-05-15 17:38:45 277

原创 linux 修改时区后crontab任务失效问题

1,脚本文件中记得使用绝对路径2,修改时区后需要重启两个服务service crond restartservice rsyslog restart重启机器都不行...

2018-05-08 18:03:15 1385

原创 hdfs的9000和8020端口

1,这两个端口都是hdfs的rpc端口2,当在hdfs-site.xml中配置一个后,在其他组件的配置中也要对应才行,例如hbase中<configuration>  <property> <name>hbase.rootdir</name> ...

2018-05-08 09:49:53 24483

原创 zookeeper配置与启动

1,关闭firewalld,配置datas文件夹及myid文件服务器有公网地址记得修改server为本机地址,如果是内网则直接用域名或者ip地址zoo.cfgserver.1=master:2889:3889server.2=etl:2889:3889server.3=0.0.0.0:2889:3889 2,用脚本统一启停时注意设置环境变量(脚本不会去读/etc/prof...

2018-05-07 16:52:44 466

原创 notepad++删除注释行和空白行

1,删除配置文件的注释行,假设以#号开头正则匹配 ^#.*2,删除空白行

2018-05-04 09:23:34 2795

原创 redis集群方案

1,客户端集群即客户端自己计算数据的key应该在哪个机器上存储和查找，此方法的好处是降低了服务器集群的复杂度，客户端实现数据分片时，服务器是独立的，服务器之前没有任何关联。多数redis客户端库实现了此功能，也叫sharding,这种方式的缺点是客户端需要实时知道当前集群节点的联系信息，同时，当添加一个新的节点时，客户端要支持动态sharding.，多数客户端实现不支持此功能，需要重启redis。...

2018-05-04 08:47:13 107