2016年10月__自由之子_

12月 11月 10月 09月 08月

转载 clojure 使用的技术 eventsourcing 什么是事件溯源（Event Sourcing）

什么是事件溯源（Event Sourcing）一个对象从创建开始到消亡会经历很多事件，以前我们是在每次对象参与完一个业务动作后把对象的最新状态持久化保存到数据库中，也就是说我们的数据库中的数据是反映了对象的当前最新的状态。而事件溯源则相反，不是保存对象的最新状态，而是保存这个对象所经历的每个事件，所有的由对象产生的事件会按照时间先后顺序有序的存放在数据库中。可以看出，事件溯源的这种做法是更符合事

2016-10-31 18:41:37 448

原创 Hive 建立最简单的table 从文件导入数据带分区参数 partitioned

表定义文件create table people(id STRING,name STRING,likes ARRAY<string>,addr MAP<string,string>)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY ',' MAP KEYS TERMINAT

2016-10-30 15:13:47 3486

原创 hive 运行三种方式之 remote metastore service

这种存储方式需要在远端服务器运行一个mysql服务器，并且需要在Hive服务器启动meta服务.另外根据metaservice的服务端和meta客户端是否在一台机器，再划分为本地和remote两种，我这里说的是remote类型，即meta客户端和服务端不在一台机器上下面是服务端的配置文件 hive-site.xml<?xml version="1.0"?> <?xml-stylesheet t

2016-10-30 11:57:07 2860

原创 Hive 运行三种方式之本地mysql

1.修改hive-site.xml如下<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive_

2016-10-29 16:39:09 768

原创 hive 启动报错 Found class jline.Terminal, but interface was expected

[ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected at jline.TerminalFactory.create(Te

2016-10-29 16:17:57 316

原创 Hive 三种运行方式之本地 derby

这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name>

2016-10-29 15:27:28 761

原创 hadoop 本机环境开发调试注意事项

这里的本地开发环境是指，我自己有虚拟机搭建的HADOOP环境，但是我想在windows的环境上开发调试hadoop程序，这里HDFS的文件读取和输出还是放在linux虚拟机上，但是程序是跑在windows上的hadoop环境里的运行的代码头部加入System.setProperty("HADOOP_USER_NAME", "root");2.windows环境变量里加入本地hadoop的路径HA

2016-10-23 15:45:09 2060

原创 eclipse 使用 hadoop plugin 插件连接不上的问题 updater".java.lang.NullPointerException

错误提示如下，我确定使用的端口和防火墙等都是正常的"Map/Reduce location status updater".java.lang.NullPointerException最后在国外看到原因是因为我没有新建根目录，导致程序没有办法去读信息所以我在namenode接点上运行命令，新建立了一个目录hdfs dfs -mkdir -p ~/first然后在插件里选择reconnect，就OK了

2016-10-22 16:05:49 2560 4

原创 hadoop yarn HA 配置错误 The HA Configuration has multiple addresses that match local node's address

报错如下 org.apache.hadoop.HadoopIllegalArgumentException: The HA Configuration has multiple addresses that match local node's address.仔细检查发现，确实有多个重复的服务器定义文件在yarn-site.xml里第二个resourcemanager服务器的地址应该是另外一个

2016-10-22 13:18:10 1714

原创 hadoop ha 只能同时启动一个namenode问题的解决方案

启动一个，另外一个就自动退出了。。后来发现是我配置文件的问题：1. hdfs-site.xml 里缺少如下配置，这是关于HA的<property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailo

2016-10-21 15:36:41 5113 2

原创 hadoop里的hdfs datanode 不能启动的问题

at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:477) at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:226)

2016-10-21 12:02:13 682

原创 hdfs 监听所有地址的请求

1.修改 hdfs-site.xml加入如下<property> <name>dfs.namenode.rpc-bind-host</name> <value>0.0.0.0</value> </property>2.记得使用stop-dfs.sh来关闭服务，似乎用start的那个脚本，配置文件没有生效.

2016-10-16 17:46:37 1437

原创 Hadoop 错误 Problem connecting to server: localhost/127.0.0.1:9000

日志里显示如下 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=10

2016-10-16 17:11:31 9579 2

原创 Hadoop 执行 start-dfs.sh Error: JAVA_HOME is not set and could not be found

原因是SSH远程执行的时候，读取不到环境变量，只有，手工设定了去安装目录里的etc/hadoop/hadoop-env.sh # set to the root of your Java installation export JAVA_HOME=/usr/java/latest # Assuming your installation directory is /usr/local/had

2016-10-16 16:50:28 880

原创 Hadoop 执行 hdfs namenode -format报错

错误如下Could not find or load main class org.apache.hadoop.hdfs.server.namenode.NameNode按照网上说的办法，加入各种环境变量也没有，最后发现不是环境变量的问题，而是我把hadoop按照文件夹里的share/hadoop文件整个给删掉了。。所以不能执行，从安装包里手动copy一份出来，问题解决

2016-10-16 16:20:11 5789

原创 Tomcat 运行 CAS + Oracle 应用的时候报错 Could not load oracle.jdbc.driver.Accessor.

之前的应用在windows上的tomcat服务器上是可以的，但是跑在linux的虚拟机上就不行了估计是内存不够用了，.我的linux虚拟机只有512M 解决方法：1.我把内存改为1G2.修改tomcat的配置文件 vim /usr/local/apache-tomcat-7.0.29/bin/catalina.sh加入 JAVA_OPTS='-Xms256m -Xmx512m'3.重启问题解

2016-10-14 18:02:38 1439

原创解决 IDEA 发布到 Tomcat 项目的 404 和相对路径问题

比如我有个项目是AAA，用eclipse发到tomcat上，路径应该是xxx.com/AAA,但是到了使用了IDEA，那么访问xxx.com/AAA就会报404的错误.但是编译出来的WAR直接丢到TOMCAT上又是正常的。下面是解决方案，其实很简单，2选1就行了，我个人倾向于第1种方案.1.2.

2016-10-14 16:04:19 32282 6

原创 IDEA单独设置JDK

我的系统里有1.7和1.8 2套JDK，但是我想单独给IDEA指定使用1.8，而平时系统使用的是1.7，那么可以在windows的环境变量里加入64位 IDEA_JKD_6432位 IDEA_JDK

2016-10-14 11:47:31 1758

原创 cas server 在TOMCAT7 上启动报错 invalid byte tag 的解决方案

1.环境是windows+tomcat7+jdk8 2.找了半天没找到原因，去国外论坛搜了一下，有个关键字是invalid byte tag，故此怀疑是jdk原因 3.换成jdk7，问题解决，特存档

2016-10-12 20:04:40 420

原创 jenkins ssh 部署 Can't connect to server 错误

1.使用Jenkins插件做ssh远程部署的时候总是提示 Can’t connect to server 查看日志有如下提示org.jvnet.hudson.plugins.SSHBuildWrapper$DescriptorImpl doLoginCheckSEVERE: Can't connect to server2.在网上查看资料得知，是因为jenkins使用的jsh客户端验证算法和s

2016-10-12 11:12:29 8187 3

原创 maven 配置文件启用代理 http proxy

直接在conf/settings.xml里加入<proxies> <proxy> <id>my-proxy</id> <active>true</active> <protocol>http</protocol> <host>1.1.1.1</host> <port>1080</port> <username>123</

2016-10-11 18:32:23 3594

原创 Jenkins 项目配置里缺少了触发远程构建 (例如,使用脚本) Trigger builds remotely 选项的解决办法

原因是因为没有在Jenkins上没有开启安全选项，其实很简单系统管理—》Configure Global Security如图配置好就额可以了

2016-10-11 16:45:38 6882 1

原创 Zookeeper 错误 Will not attempt to authenticate using SASL (unknown error)

今天在做dubbo实验的时候，碰到一个问题，卡了我7-8小时，差了很多资料无果，错误如下- Initiating client connection, connectString=1.1.1.2:2181 sessionTimeout=60000 watcher=org.I0Itec.zkclient.ZkClient@7848d29a2016-10-09 02:02:48,494

2016-10-09 02:15:22 154312 21

原创 linux oracle 启动

sqlplus / as sysdba startuplsnrctl start emctl start dbconsole

2016-10-08 21:47:02 215

原创 maven 手工添加oracle 驱动jar 到本地仓库

我在网上提前下载好了ojdbc7.jar使用如下命令导入本地仓库mvn install:install-file -Dfile=ojdbc7.jar -DgroupId=com.oracle -DartifactId=ojdbc7 -Dversion=1.0 -Dpackaging=jar3.在maven中使用<dependency> <groupId>com.or

2016-10-08 21:35:24 2475

原创 eclipse Type Cannot change version of project facet Dynamic Web M

eclipse报错诸如 Cannot change version of project facet Dynamic Web Module to 3.0 选择navigator视图，然后找到当前项目里的.settings文件里，选择编辑里面的 org.eclipse.wst.common.project.facet.core.xml文件，我之前这里的是红圈里的数值是2.5，改为3.0问题解决

2016-10-08 16:08:12 221

原创解决 eclipse 在编译打包部署 maven 项目的时候 WEB-INF/lib 为空没有 jar的问题

如题，解决 WEB-INF/lib 里为空或者说没有 jar的问题，其实很简单1.选择项目属性，找到Deployment assembly 2. 3.选择完毕就搞定了！！！

2016-10-07 17:19:53 7913 2

原创 centos 6 安装oracle 11g 要点

可以参考官方的安装文档 https://oracle-base.com/articles/11g/oracle-db-11gr2-installation-on-oracle-linux-5切记，安装之前一定要在hosts里设置本机的ip和主机名解析关系，不然后面的net assistant 那个会失败官方文档里的环境变量有些可以删掉，保留如下就额可以了，不然也会有问题TMP=/tmp; ex

2016-10-06 02:02:51 220