- 博客(26)
- 收藏
- 关注
RSS订阅原创 kerberos部署
1.安装krbyum -y install krb5-server krb5-libs krb5-auth-dialog krb5-workstation2.配置krb5.confvi /etc/krb5.conf----------------------------------------------------------------------------------------仅...
2019-09-20 14:16:47
402
原创 kerberos主备配置
see Kerberos主从搭建1.备用节点安装kerberosyum -y install krb5-server krb5-libs krb5-auth-dialog krb5-workstation2.主节点配置新增kdcvi /etc/krb5.conf [realms] POSINDA.COM = { kdc = master_hostname kdc = ...
2019-09-20 11:40:27
874
原创 Flume
一、flume+kafka+flume1、event header传递问题。（1）kafka_sink在flume的配置文件中 设置：client.sinks.k1.useFlumeEventFormat = true ， useFlumeEventFormat默认为false，表示只将Event的body传送给kafka，若为true，表示将整个Event（header+body）一起传输...
2019-07-10 11:45:22
253
原创 配置python运行环境
1、安装python模块yum python-packagename安装tar包tar -zxvf [tar包]python setup.py build && python setup.py install安装完成后进入Python解释器 ----》import package_name 进行检查2.paramiko.SSHException: Incompatib...
2018-10-21 07:32:26
289
原创 汇总-redis生产问题
redis数据规范设计当数据量很大，要精简key的长度。redis集群越大，通过增加机器来扩大集群容量的价格越高。排行需求背景我用了sorted set保存排行榜（1.4个keys）两个问题关于delete redis的大key。删除大key造成redis长时间阻塞和一台master down机。redis数据存储不均衡。解决方案（未实施）对排行榜做...
2018-07-31 08:51:08
582
原创 解决方案-外域hadoop客户端访问hadoop平台和异域hadoop平台间访问
hdfs客户端https://blog.csdn.net/dominic_tiger/article/details/71773656 配置客户端用hostname方式访问集群<property> <name>dfs.client.u
2018-07-19 10:47:35
4888
8
原创 编写shell随记
sed单引号问题在命令行 sed -i 's/原内容/更新内容/g' file shell语法里sed -i的参数无需单引号 sed -i s/原内容/更新内容/g fileshell内正则表达式问题建议把parttern和更新内容都以字符串的方式保存到变量里。当parttern和更新内容都包含空格(oracle_21="source.querywhere=where...
2018-06-04 17:40:48
124
原创 部署ftp
背景基于对线上服务器的保密和安全，不希望开发人员直接登录线上服务器，因为登录服务器的权限太多难以管控，能限制开发人员ssh登录机器，但是通过ftp/sftp上传代码文件。在网上找个各种各样的方法，经过试验做个汇总：方法一https://segmentfault.com/q/1010000000722462 这篇帖子的方法是搜索到的最通用的方法，方法是否可能呢，直接做个测试。...
2018-05-22 12:33:26
531
原创 redis
一、连接redis集群1.范式JedisCluster jedisCluster;Set<HostAndPort> jedisClusterNodes = new HashSet<HostAndPort>();String host = "10.128.113.68&
2018-04-25 19:03:52
241
转载 oracle常见异常——io异常，connection reset
从Oracle官网论坛里找到一个帖子，讨论的问题和我遇到的问题类似，但提出的问题原因和解决方法比较有意思。按照帖子里的说法，问题的根因和Java的安全随机数生成器的实现原理相关。 java.security.SecureRandom is a standard API provided by sun. Among various methods offered by this class ...
2018-04-24 12:44:27
19895
2
原创 ing-常用Linux命令
command执行模式后台执行 command &脱离终端在后台执行 nohup command & 通信linux扫描服务器端口（网络连通） nmap <ip> -p &am
2018-03-15 08:15:09
184
转载 yarn-资源调度控制
原文 see http://blog.csdn.net/prstaxy/article/details/55261330理想情况下，应用对YARN发起的资源请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用对资源的请求经常需要等待一段时间才能获取到相应的资源。在YARN中，Scheduler的职责就是根据定义的策略给应用分配资源。其实调度本身就是一个难题，很难...
2018-03-08 16:36:05
2809
转载 hive权限控制
原文 see https://www.jianshu.com/p/e5b80c3e7269说明认证(authentication)：验证用户所用的身份是否是对的 授权(authorization)：验证用户所用身份操作是否有权限 目前hive（版本0.12.0）支持简单的权限管理，默认情况下是不开启，这样所有的用户都具有相同的权限，同时也是超级管理员，也就对hive中的所有表...
2018-03-08 15:11:22
855
转载 常见Java环境异常
一、major.minor version 52.0解决办法原文 see http://blog.csdn.net/superit401/article/details/72731381.基础知识stanford parser和jdk版本对应关系J2SE 8 = 52,J2SE 7 = 51,J2SE 6.0 = 50,J2SE 5.0 = 49,JDK 1.4 = 48,JDK 1.3
2018-03-08 10:44:48
661
转载 Storm实战常见问题及解决方案
原文 see http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html1关于Storm集群1.1关于storm集群的环境变量配置问题安装好JDK后，需要配置环境变量，通常情况下出于经验，我们往往会修改/etc/profile的值进行环境变量配置，但这在安装JDK以及后面安装的storm集群、zookeeper集群以及metaq集群...
2018-03-01 10:22:48
568
原创 beh部署-datanode节点添加
1.添加hosts主机名 vi /etc/hosts 把10.0.180.5的/etc/hosts内容拷贝过来。2.关闭防火墙 firewall-cmd –state 3.关闭selinux getenforce /usr/sbin/sestatus -v4.新增hadoop用户 useradd hadoop passwd hadoop5.时间同步 设置定时 cr...
2018-02-26 08:53:27
613
转载 linux 服务器的那些性能参数指标
原文 see Linux 服务器的那些性能参数指标。 作者，zeozhao。 一个基于 Linux 操作系统的服务器运行的同时，也会表征出各种各样参数信息。通常来说运维人员、系统管理员会对这些数据会极为敏感，但是这些参数对于开发者来说也十分重要，尤其当你的程序非正常工作的时候，这些蛛丝马迹往往会帮助快速定位跟踪问题。这里只是一些简单的工具查看系统的相关参数，当然很多工具也是通过分析加工 /...
2018-02-07 16:59:36
212
转载 linux 下查看系统资源和负载，以及性能监控
原文链接：http://www.lupaworld.com/article-217011-1.html 发布者: 红黑魂1.查看磁盘df -h2.查看内存大小freefree [-m|g]按MB,GB显示内存vmstat3.查看cpucat /proc/cpuinfo 只看cpu数量grep “model name” /proc/cpuinfo | wc -l4.查看系统内存cat /proc/
2018-01-26 09:36:20
423
原创 ing-sql
创建用户CREATE USER 'username'@'host' IDENTIFIED BY'password'; 访问表索引列表。 SELECT DISTINCT lower(index_name) index_name, lower(index_type) type FROM information_schema.statistics WHEREtable_s...
2018-01-12 17:12:05
132
原创 ing-maven常见问题解决方案。
mavenmaven update project 控制JDK版本指定maven-compiler-plugin source版本。当前project生效。<plugins> <plugin> <groupId>org.apache.maven.plugins</groupId&
2018-01-12 12:46:13
170
原创 Storm_JVM内存溢出_调整服务器资源分配。
storm集群耗尽jvm线程资源，记录优化过程。另起一文论述storm集群，jvm，服务器资源分配。JVM运行状态分析。jstack 查看线程，jstat 性能分析，jmap 内存占用。 see JVM状态分析。Linux服务器资源分配。调整线程数上限。ulimit -u 打开系统的限制文件：vi /etc/security/limits.conf，
2017-12-29 17:09:05
968
原创 。。。
my壹.the extends继承的本意在抽象，而不是重用代码。什么时候应该使用继承？只在抽象类中使用，其他情况下尽量不使用。抽象类也是不能实例化的，它仅仅提供一个模版而已，这就很能说明问题。see Java接口与继承的本质。othersⅠ. 程序就是数据和算法。 Ⅱ. 抽象就是抽去像的部分，cowboy。[from Java接口与继承的本质。]
2017-12-17 19:31:30
137
原创 ing-(更新)Kafka-可靠的生产者Producer(Java)。
大量数据发送到kafka出现数据丢失，记录Producer传输消息可靠性和性能保证讨论完成。
2017-12-15 17:00:00
202
转载 YARN-作者：IT十年(http://blog.csdn.net/matthewei6)。
YARN是资源管理系统，理论上支持多种资源，目前支持CPU和内存两种资源YARN产生背景 直接源于MRv1在几个方面的缺陷 扩展性受限 单点故障 难以支持MR之外的计算 多计算框架各自为战，数据共享困难 MR：离线计算框架 Storm：实时...
2017-12-11 14:00:46
279
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人