- 博客(23)
- 资源 (1)
- 收藏
- 关注
转载 redis
三台服务器搭建redis集群安装redis安装redis 下载redis-4.0.6.tar.gz上传至/home路径,解压:tar –xvf redis-4.0.6.tar.gz进入目录 cd /home/redis-4.0.6编译安装 make 会在/usr/local/bin/生成连接安装ruby环境运行ruby –v查看ruby是否安装若已安装...
2019-04-22 15:51:31
149
原创 ubunt下redis分布式搭建教程:2主机6节点(每台主机3个节点)
准备:2台机器要求:通过2台机器模拟6个节点,创建出3个master、3个salve安装过程一:下载并解压cd /data/softwarewget http://download.redis.io/releases/redis-3.2.4.tar.gztar -zxvf redis-3.2.4.tar.gz -C /data/opensoftware二:编译安装cd /data/...
2019-04-22 15:49:28
354
原创 DRS:一个开源的STORM系统,用于负载动态调整
DRS:一个开源的STORM系统,用于负载动态调整https://github.com/fuzhengjia/ton-storm-09-drs/blob/master/src/main/java/topology/DectationTopology.java先放上项目地址,项目的内容及使用说明同步更新。https://github.com/fuzhengjia/ton-storm-09-drs/...
2019-04-22 15:29:28
269
原创 痛恨Ubuntu
作为Linux的代表系统,Ubuntu真的太垃圾了,易用性太差1.适配软件太少2.老子信心苦苦搭建的环境,突然输入密码进不去系统了想杀人的心都有了1.适配软件太少QQ,eclipse,Idea根本无法较好的适配各种使用不方便,垃圾,下载速度慢2.老子信心苦苦搭建的环境,突然输入密码进不去系统了想杀人的心都有了...
2019-04-19 21:11:11
314
原创 storm-0.9.3配置信息
# Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements. See the NOTICE file# distributed with this work for additional information# regarding copyrigh...
2018-03-30 14:24:01
178
原创 storm 1.1.1配置信息
注意空格位置,不能多也不能少 storm.zookeeper.servers: - "h1" - "h2" - "h3" nimbus.seeds: ["h1"]# # # ##### These may optionally be filled in:# ## List of custom serializations# ...
2018-03-30 14:23:03
193
原创 zookeeper配置信息记录
# The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # s...
2018-03-30 14:20:58
193
原创 启动maven工程遇到java.util.zip.ZipError: invalid CEN header (bad signature)
启动maven工程遇到java.util.zip.ZipError: invalid CEN header (bad signature)报错,当然下面还会有其他报错内容这种问题是由于本地的jar包出现损坏,我的做法是将C:\Users\YN.m2\repository下仓库里的包全部删掉,打开eclipse让其自动下载,过了漫长的一晚上重新建立本地仓库后,第二天早上起来正常运行程序。...
2018-03-30 10:20:04
3779
原创 在Ubuntu上创建maven工程,编译器里一直不能正常使用maven工程
在Ubuntu上创建maven工程,编译器里一直不能正常使用maven工程,原来犯了个低级错误。没有检查到本地的maven环境已经失效。 去网上下载maven安装包,安装并配置mave_home后。 在编译器里仍然又问题,将编译器下载的包全部删掉,reimport本地maven仓库后解决。...
2018-03-28 16:50:42
408
原创 Hadoop,Hbase分布式集群配置手册
在网上搜集了各种配置,经常会出错,现在把自己已经成功配置处理来的一份配置晒出来。1.伪分布式配置手册hadoop-2.6.0habase-2.2.6hadoop中的部分配置core-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" hre...
2018-03-28 16:44:10
175
原创 win7下的storm代码移植到Ubuntu系统上,出现了报错 java.lang.NoClassDefFoundError: com/esotericsoftware/kryo/Serializer
java.lang.NoClassDefFoundError: com/esotericsoftware/kryo/Serializerat org.apache.storm.serialization.KryoValuesSerializer.<init>(KryoValuesSerializer.java:33) ~[storm-core-1.1.1.jar:1.1.1]at ...
2018-03-28 13:16:01
6079
1
原创 Ubuntu下的IDEA编辑器,创建maven工程后,jar包已经下载,但是在代码中不导入
Ubuntu下的IDEA编辑器,创建maven工程后,jar包已经下载,但是在代码中不导入如图右侧所述,导致代码中产生了很多错误。 就算用手动导入包,仍然不能运行。 后多方查阅子类,发现一个解决方法。第一步,找到本地maven仓库地址。 第二步,通过命令进入maven仓库,删掉已经导入的依赖包。 第三步,reimport pom.xml文件中的依赖包。 第四步,进入代码,发现...
2018-03-28 11:40:15
301
转载 transient
java语言的关键字,变量修饰符,如果用transient声明一个实例变量,当对象存储时,它的值不需要维持。换句话来说就是,用transient关键字标记的成员变量不参与序列化过程。作用Java的serialization提供了一种持久化对象实例的机制。当持久化对象时,可能有一个特殊的对象数据成员,我们不想用serialization机制来保存它。为了在一个特定对象的一个域上关闭serializat
2017-10-14 11:03:14
330
原创 Storm0.9.3启动后关于参数问题的报错
启动storm后,如果发现报错如下,或者有类似的错误提示:Exception in thread "main" expected '<document start>', but found BlockMappingStart in 'reader', line 43, column 1:是说明参数有错误,在配置文件的43行第1列。原因是因为storm 0.9.3(其他版本或许相同,未做考证)版本
2017-10-12 22:31:38
299
原创 storm-hbase集成:win7下用eclipse开发ubuntu上的storm-hbase程序
平时任务实在比较忙,只能先记录简单步骤,后续再写详细说明。win7下eclipse中开发统一局域网内hbase程序简单操作步骤win7下管理统一局域网内的集群1.3台ubuntu服务器作为实验机器,一台win7作为管理机器,网线都在同一个交换机上。 2.3台主机关闭防火墙,并开通ssh服务。 3.在win7上安装xshell 用来进行命令操作3台主机。安装winscp来进行...
2017-10-07 14:56:03
504
原创 分布式环境下hadoop-2.8.1,hbase-1.3.1的配置文件
分布式环境下hadoop-2.8.1,hbase-1.3.1的配置文件我想说的是,各种配置问题太多,一个不对就可能节点挂掉,节点不能启动等问题,配置步骤已经写过,现在把配置文件记录一下,为以后方便使用。hadoop目录下(h1主节点)core-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-styles...
2017-10-06 15:31:40
603
原创 Hbase启动后,在主节点只有Hmaster,而在slave节点上没有Hregionserver
当所有问题都排查,配置没有错误的情况下,查了网上,一般都是集群时间不同步的问题。日志被删掉了,所以不贴出来,大家遇到此类问题可以顺手看下时间是否同步。解决方式date #查看时间是否同步 如果不同步,可以采用多种方式解决,我采用的的是最简单的方法: sudo date -s 13:50:00 #这个时间是当下的标准时间,手工调节3台电脑的时间基本一致 重新启动服务后,成功!
2017-10-06 14:24:46
6902
1
原创 hadoop起动后没有datanode的问题
查看日志后发现:java.io.IOException: Incompatible clusterIDs in /home/storm/hadoop/dfs/data: namenode clusterID = CID-bee17bb7-308b-4e4d-b059-3c73519a9d0e; datanode clusterID = CID-7fca37f0-a600-4e89-a012-aec2
2017-10-06 11:48:22
3048
原创 集群启动使用Hadoop,运行后没有NameNode节点
集群启动Hadoop后,运行后有SecondNameNode和dataNode,但是没有NameNode节点?解决方法:1、先运行stop-all.sh 2、运行hadoop namenode -format 3、运行start-all.sh
2017-10-05 21:33:55
7869
5
原创 linux中profile对常用的软件的路径配置
linux中profile对常用的软件的路径配置(记录)export JAVA_HOME=/opt/javaexport PATH=$PATH:$JAVA_HOME/binexport ZK_HOME=/opt/zookeeperexport PATH=$PATH:$ZK_HOME/binexport STORM_HOME=/opt/apache-storm-1.1.1export PATH=
2017-10-05 20:42:00
705
原创 ZooKeeper分布式安装与配置
ZooKeeper安装与配置一. 单机安装、配置:1. 下载zookeeper二进制安装包下载地址:http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.9/2.解压zookeeper安装包把zookeeper-3.4.3.tar.gz文件存放在/home/hadoop目录下,进行解压:hadoop@ubuntu:~$ sudo tar
2017-10-05 17:06:23
363
转载 CSDN-markdown编辑器简介
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-10-05 16:42:18
293
转载 Apache Storm 官方文档 —— Trident 教程 原文链接 译者:魏勇 Trident 是 Storm 的一种高度抽象的实时计算模型,它可以将高吞吐量(每秒百万级)数据输入、有状
Apache Storm 官方文档 —— Trident 教程Trident 是 Storm 的一种高度抽象的实时计算模型,它可以将高吞吐量(每秒百万级)数据输入、有状态的流式处理与低延时的分布式查询无缝结合起来。如果你了解 Pig 或者 Cascading 这样的高级批处理工具,你就会发现他们和 Trident 的概念非常相似。Trident 同样有联结(join)、聚合(aggre
2017-09-09 22:56:37
311
Xshell个人免费版
2018-05-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人