- 博客(47)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 hive优化
hive常见优化方法总结1，使用关键字 EXPLAIN 或者 EXPLAIN EXRENDED ,在要执行的sql语句前面加关键字，不执行语句，可以用来查看语法树2,使用limit限制的调整，一般使用limit其实还是全表扫描，所以可以修改配置 hive.limit.optimize.enable true 3,在数据量少的情况下可以使用本地模式查询
2018-01-26 17:58:24
324
转载 卷积神经网络实战（可视化部分）——使用keras识别猫咪
在近些年，深度学习领域的卷积神经网络（CNNs或ConvNets)在各行各业为我们解决了大量的实际问题。但是对于大多数人来说，CNN仿佛戴上了神秘的面纱。我经常会想，要是能将神经网络的过程分解，看一看每一个步骤是什么样的结果该有多好！这也就是这篇博客存在的意义。高级CNN首先，我们要了解一下卷积神经网络擅长什么。CNN主要被用来找寻图片中的模式。这个过程主要有两个步骤，
2017-05-05 16:30:19
940
原创 redis的中aof文件存储超出限制处理
1，出现问题 redis集群中某个节点 报错信息如下： Starting automatic rewriting of AOF on 307% growth Error opening /setting AOF rewrite IPC pipes: Numerical result out of range这个错误的意思是redis中aof文件超出存储的最大内容 2，解决方法
2016-11-02 11:25:12
7962
2
原创 sqoop安装文档
1.Sqoop介绍概述Hadoop的数据传输工具sqoop是Apache顶级项目，主要用来在Hadoop和关系数据库、数据仓库、NoSql系统中传递数据。通过sqoop，我们可以方便的将数据从关系数据库导入到HDFS、Hbase、Hive，或者将数据从HDFS导出到关系数据库。sqoop架构非常简单，其整合了Hive、Hbase和Oozie，通过map-reduce任务来传输数据，从而提供并发特性和
2016-10-25 14:44:00
830
原创 详细设计说明书_mysql同sqoop同步数据
1引言1.1目的与范围改造Sqoop，实现mysql与Phoenix的数据同步1.2术语与缩写无1.3参考资料Sqoop官方文档, http://sqoop.apache.org/docs/1.4.6/ Phoenix官方文档: http://phoenix.apache.org/2项目概况2.1需求概述需要利用sqoop将mysql中的数据, 同步到phoenix. 但是, 由于sqoop并不
2016-10-25 14:42:24
1070
原创 sqoop的安装和使用
Sqoop的安装和使用 （一）下载安装1、下载并解压 wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.2.tar.gz tar -zxvf sqoop-1.4.4-cdh5.1.2.tar.gz2、将sqoop中的命令添加至$PATH中 export PATH=$PATH:/home/jediael/setu
2016-10-21 15:39:15
363
原创 好玩的密码
好玩的密码摩斯密码###摩斯密码的词典 ###维吉尼亚密码 A B C D E F G H I J K L M N O P Q R S T U V W X Y Z A -A B C D E F G H I J K L M N O P Q R S T U V W X Y Z B -B C D E F G H I J K L M N O P Q R S T U V W
2016-10-21 15:31:15
973
原创 redis3.0.6集群动态 增加节点
redis3.0.6集群动态增加节点1，已有的redis集群（具体的操作见redis集群安装） 2，将需要添加进集群的redis节点启动3, 向集群中增加主节点 cd /opt/redis/redis-3.0.6/src ./redis-trib.rb add-node 10.248.27.4:6379 10.248.27.5:6379 其中 10.248.27.4:6379为新加入
2016-10-21 15:19:46
1929
原创 linux脚本实现监控某个进程并重启
#!/bin/shproc_name="easypecChanleData.jar" #进程名file_name="/opt/easypecChanlData/restart_access_log.log"pid=0proc_num() { num=`ps -ef | grep $proc_name | grep -v grep | wc -l` ret
2016-07-13 11:04:57
4989
原创 linux下使用脚本杀死某个进程
脚本内容如下#!/bin/sh#根据进程名杀死进程if [ $# -lt 1 ]then echo "缺少参数：procedure_name" exit 1fi PROCESS=`ps -ef|grep $1|grep -v grep|grep -v PPID|awk '{ print $2}'`for i in $PROCESSdo echo "Kill th
2016-04-06 16:57:17
1939
原创 关于kylin的安装（主要是为了BI开发，kylin支持odbc）
首先说说kylin是做什么的吧（这一段简洁，就用官网上的来说明吧，官网地址http://kylin.apache.org/cn/） Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。（具体的可以查看官网）
2016-03-31 14:51:57
3764
转载 Redis让Spark数据分析速度提升45倍（留作机器学习使用）
https://redislabs.com/solutions/spark-and-redis一些内存数据结构比其他数据结构来得更高效;如果充分利用Redis，Spark运行起来速度更快。Apache Spark已逐渐俨然成为下一代大数据处理工具的典范。通过借鉴开源算法，并将处理任务分布到计算节点集群上，无论在它们在单一平台上所能执行的数据分析类型方面，还是在执
2016-03-30 14:56:35
3178
原创 SparkR的具体安装和将会遇到的问题的解决
第一步，安装R参考http://www.myexception.cn/linux-unix/680876.html由于安装R依赖比较多，故利用iso文件创建本地yum源，见后【一】利用iso镜像文件创建本地yum源1.1 安装依赖yum install gccyum install gcc-c++yum install gcc-gfortran
2016-03-07 16:50:49
1762
原创 myeclipse10 破解
经过本人亲测,可以正常使用 1，首先下载myeclipse的破解工具，下载地址为(http://pan.baidu.com/s/1jGOmb2Y) 2，下载完成之后进行解压 3，发现有一个文件为me_active.jar 4,win+R 输入cmd命令 5，打开me_active.jar所在的文件夹 6，运行命令java -jar me_active.jar 7,进入 8，按照解
2016-02-17 09:44:44
353
原创 Spring定时调度器应用
class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean"> executeInternal class="org.springframework.scheduling.quartz.MethodInvoking
2016-02-01 15:00:54
412
原创 scala实现读取redis
object RedisClient { def main(args: Array[String]) { val jedisClusterNodes = new util.HashSet[HostAndPort] //Jedis Cluster will attempt to discover cluster nodes automatically jedisClust
2016-01-27 11:24:36
11506
1
原创 使用scala，java实现使用phenix读取hbase中数据
前提：将phenix与hbase已经成功映射直接上代码:scalaobject testperson { def main(args: Array[String]) { var cc: Connection = null val driver: String = "org.apache.phoenix.jdbc.PhoenixDriver" val url:
2016-01-27 11:22:04
1613
原创 redis3.0.6集群安装
前期准备目前官网最新的redis stable版本为：3.0.6（时间点：2015年12月21日下午14点54分），支持集群安装部署。首先下载最新版的tar包，scp到机器上（本文将会安装6个节点，3个主节点、3个从节点，由于redis默认需要3个主节点，如果想每个主节点有一个从节点这是最低配要求），端口都采用默认的6379修改配置将下载的tar包解压，修改redis-3.0.6下的r
2016-01-22 17:42:28
516
原创 kafka+sprkStreaming+hbase
1，kafka的安装，参照kafka的安装文档第一步：建立一个自己的topic:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testspark启动自己的topicbin/kafka-console-producer.sh -
2016-01-22 17:31:41
472
转载 补充myeclipse引入MySQL
对于刚刚使用myeclipse进行Java开发的同学来说，数据库的连接非常重要。课堂上老师也是会很快的讲完，还没有回过神来，课程已经结束了，那种感觉自己深有体会，尤其是英文版。想问又不敢问。因为自己经历过所以在这里分享一下myeclipse连接mysql数据库详细操作步骤。第一步 打开Database
2015-11-25 19:45:03
338
原创 Hbase表结构
Row Keycolumn-family1column-family2column-family3column1column1column1column2column3column1key1t1:abct2:gdxdf
2015-10-25 11:46:13
334
转载 zookeeper配置原理
ooKeeper实验版本：3.4.6ZooKeeper下载地址：http://www.apache.org/dyn/closer.cgi/zookeeper/ zookeeper是一个高可用性，高性能的协调服务。 解决哪些问题在分布式应用中，经常会出现部分失败的情况，即当节点间传递消息的时候由于网络或者接收者进程死掉等原因，发送者无法知道接收者是否收到消息。由于
2015-10-25 09:29:48
459
转载 CentOS下安装openoffice和Swf
第一步安装openoffice安装最新的openoffice 需要最新的系统，redhadserver5.5不行，因为里面GLIBC最高是2.5的，最新的openoffice需要GLIBC_2.11。所以openoffice安装到了线上的阿里云上面的CentOS 6.2上面。 1:下载最新的 openoffice地址：http://jaist.dl.
2015-10-17 17:36:31
563
原创 window下hadoop实现文件追加，上传，下载
在eclipse下进行hadoop项目的创建1，将我们集群上关于hadoop的所有目录下的文件进行复制，然后首先将hadoop-eclipse-kepler-plugin-2.2.0，hadoop-eclipse-plugin-2.4.0，这两个文件放在eclipse的dropins目录下。这样我们就可以在eclipse的 图一如图一：我们就
2015-10-16 23:01:21
2318
原创 安装linux虚拟机和配置hadoop集群
从CentOS安装到Hadoop2.4.0完全分布式配置1. 前提1. 安装VMware2. 安装centos64 1. 网络配置2. 正式安装2. 配置Master1. 连接网络 2. 修改主机名3. 创建工作组和用户4. 安装JDK和Hadoop 5. 配置hadoop1
2015-10-15 20:00:03
638
转载 Get和Post的区别
在B/S模式中，客户端与服务端交互的方法有:get和post。所有网站框架都是在此基础上发挥，因为它们是Http协议定义的与服务器交互的方法，只要用到http协议，都会使用这两种方法。Http还定义了put和delete方法。现总结区别如下：1. get是从服务器上获取数据，post是向服务器传送数据。在做数据查询时，建议用Get方式；而在做数据添加、修改或删除时，建议用Post方式。
2015-10-05 18:12:37
320
原创 回顾spring(云计算项目)
这次我们所做的项目是关于云计算的，在这个项目中，让我意识到应该spring框架的强大。所以，今天先来对spring进行总结。在我的第一篇博客中，已经对spring框架进行了一定的总结，首先，我们需要知道spring的用途，为什么我们会用到spring。因为学习的时间并不是很长，所以按照我自己的疑问，对于spring再次进行重新的学习1，为什么要使用spring使用spring的好处是什
2015-10-05 18:04:26
1124
原创 hadoop1.x中IPC协议
首先：我们先来了解RPC协议具体的内容(1):是远程方法的调用。一台计算机可以访问到另一台计算机的程序，但是我们却不需要去关注底层内容的实现（2）：hadoop之间进程的交互使用的都是RPC,比如NameNode和DataNode，JobTracker和TaskTracker之间的通信2:RPC所用到的知识点（1），动态代理（2），反射（3）,序列化（4），非阻塞IO(
2015-09-17 23:21:59
416
原创 RPC中用到的 *动态代理，反射机制，NIO
今天在学习RPC协议时，用到了动态代理和反射机制所以，我们先来看看动态机制：在java的动态代理中，有两个重要的类或接口，一个是InvocationHandler（Interface）,另一个则是Proxy(Class0,这一个类和接口。首先我们来看看java的api对这两个类的描述：InvocationHandler:InvocationHandler is the interf
2015-09-17 19:27:44
2279
转载 hibernateTemplate和hibernateDaoSupport
HibernateDaoSupport和HibernateTemplatehibernateTemplate的常用方法: Ø void delete(Object entity)：删除指定持久化实例Ø deleteAll(Collection entities)：删除集合内全部持久化类实例Ø find(String queryString)：根据HQL查询
2015-08-18 22:46:34
325
转载 Hibernate中的缓存机制
在向大家详细介绍Hibernate二级缓存之前，首先让大家了解下一级缓存，然后全面介绍Hibernate二级缓存。1：Hibernate中提供了两级Cache，第一级别的缓存是Session级别的缓存，它是属于事务范围的缓存。这一级别的缓存由hibernate管理的，一般情况下无需进行干预；第二级别的缓存是SessionFactory级别的缓存，它是属于进程范围或群集范围的缓存。这一级
2015-08-18 22:15:02
335
原创 Spring和Hibernate和Struts整合（二）实现登陆验证
上一篇，我们已经配置了hibernate的数据源，并且通过逆向工程生成了对象，而且已经配置好了数据连接池。现在，我们首先从登录界面做起。以前我们使用的获取web的方法，用的是servlet，关于servlet，我们之前使用的是doget和dopost，而struts就相当于Servlet的方法。所以呢，在我们写login.jsp时，就需要先进行struts的配置。此外，我们所用的是action
2015-08-18 20:17:17
963
原创 Spring与Hibernate与Struts整合（一）配置文件
首先：关于三大框架的整合在这个过程中，我们需要在spring的配置文件中配置Hibernate（hibernate的实体类以及*.hbm.xml文件我们利用hibernate的逆向工程实现）1，配置spring-db.xml,在这个配置文件中，我们要对dao层进行配置，之前在学习Spring时，我们所配置的 sessionFactory是Sping自身的，这次，我们采用的是Hibernat
2015-08-17 22:44:25
556
转载 DAO层，Service层,Contorller,View
DAO层：DAO层主要是做数据持久层的工作，负责与数据库进行联络的一些任务都封装在此，DAO层的设计首先是设计DAO的接口，然后在Spring的配置文件中定义此接口的实现类，然后就可在模块中调用此接口来进行数据业务的处理，而不用关心此接口的具体实现类是哪个类，显得结构非常清晰，DAO层的数据源配置，以及有关数据库连接的参数都在Spring的配置文件中进行配置。 Service层：Ser
2015-08-17 22:36:14
808
原创 用hibernate和spring整合做小例子对数据库增删改查
延迟加载： 延迟加载机制是为了避免一些无谓的性能开销而提出来的，所谓延迟加载就是当在真正需要数据的时候，才真正执行数据加载操作。在Hibernate中提供了对实体对象的延迟加载以及对集合的延迟加载，另外在Hibernate3中还提供了对属性的延迟加载。下面我们就分别介绍这些种类的延迟加载的细节。A、实体对象的延迟加载：如果想对实体对象使用延迟加载，必须要在实体的映射配置
2015-08-14 22:03:34
4954
转载 Hibernate中的延迟加载机制
延迟加载： 延迟加载机制是为了避免一些无谓的性能开销而提出来的，所谓延迟加载就是当在真正需要数据的时候，才真正执行数据加载操作。在Hibernate中提供了对实体对象的延迟加载以及对集合的延迟加载，另外在Hibernate3中还提供了对属性的延迟加载。下面我们就分别介绍这些种类的延迟加载的细节。A、实体对象的延迟加载：如果想对实体对象使用延迟加载，必须要在实体的映射配置
2015-08-14 22:01:20
296
原创 Hbernate中级联查询（二）
这次我们建立两个表cat和animalcrete table cat(id int(10),idcat int(10) auto_increment primary key ,name varchar(40),sex varchar(20) foreign key(id) references animal(id));create table animal(id int(10),anima
2015-08-14 21:49:38
430
原创 Hibernate的一对多增改级联操作
建立两张表：student，grade。创建语句：create table grade(id int(10) auto_increment primary key,gragename varchar(40)); create table student(id int (10) auto_increment primary key,name varchar(40)
2015-08-14 21:40:31
412
原创 Hibernate中Hql操作
在我们需要处理数据量比较大的时候，如果依旧单个修改则会造成效率低下所以，在这个时候，我们需要用到的就是批量修改，也就是Hql同昨天的是同一个例子，使用user表，因为hibernate中已经将sql语句封装好，所以，我们使用它的createQuery不多废话，直接上源码package dao;import java.util.List;import java
2015-08-14 21:28:33
410
原创 关于Hibernate中的普通增删改查
一：关于hibernate的介绍Hibernate：开放源代码的对象关系映射框架优点：1，使用面向对象方式来操作数据库；2，屏蔽了不同的数据源，不用考虑数据库之间的差距，使应用程序得到更好的移植性操作；3，对SQL进行了大量的封装，使开发者不需要写大量的Sql语句；4，提供了缓存机制（内存：开辟了一块空间专门用来储存）；5，提供了更完整的事务上的支持，对数据的安全性提高
2015-08-14 20:33:43
1397
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人