排序:
默认
按更新时间
按访问量

Spring注解大全

1、@Configuration 完全替换spring xml文件功能,可自动装配bean,根据@Bean注解创建bean,实例如下   @Configuration public class App01 { @Bean public Person bean1() { P...

2017-11-01 20:03:06

阅读数:71

评论数:0

Sqoop导入关系数据库到Hive

Sqoop 是 apache 下用于 RDBMS 和 HDFS 互相导数据的工具。本文以 mysql 数据库为例,实现关系数据库导入到 hdfs 和 hive。 1. 安装 Sqoop 使用 rpm 安装即可。 yum install sqoop sqoop-metastore ...

2017-10-12 19:53:06

阅读数:195

评论数:0

Hive部署安装

1.解压安装包      tar -zxvf apache-hive-2.3.0-bin.tar.gz 2.添加环境变量,在文件/etc/profile中或者/home/登录用户名/.bash_profile中添加,两者有什么区别请自行查找。     导入下面的环境变量     export HI...

2017-10-12 14:10:38

阅读数:86

评论数:0

Linux-profile、bashrc、bash_profile之间的区别和联系

为使Bash更好地为我们服务,我们需定制bash shell环境。 ~/.bash_profile、~/.bashrc、和~/.bash_logout 上面这三个文件是bash shell的用户环境配置文件,位于用户的主目录下。其中.bash_profile是最重要...

2017-10-09 17:35:55

阅读数:101

评论数:0

Sqoop2 Java客户端API指南

原文连接:http://sqoop.apache.org/docs/1.99.6/ClientAPI.html Sqoop Java客户端API指南 这篇文章秒描述了额如何在外部应用中使用sqoop java 客户端API。通过客户端API可以实现sqoop命令的功能。使用Sqoo...

2017-09-29 19:43:35

阅读数:133

评论数:0

JAVA操作SQOOP对象

JAVA操作SQOOP对象 Posted on 2017-06-06 16:57 J'KYO 阅读(203) 评论(0) 编辑 收藏 Windows下使用Eclipse工具操作Sqoop1.4.6对象 Sqoop是用来在关系型数据库与Hadoop之间进行数据的导入导出,Windows...

2017-09-28 10:54:37

阅读数:156

评论数:0

java访问hdfs文件时碰到的一些问题

1.java.io.IOException:No FileSystem for scheme:hdfs 解决:在pom.xml中漏添加了依赖 。下面3个依赖必不可少 org.apache.hadoop hadoop-common 2.7.1 org.apache.had...

2017-09-19 17:03:51

阅读数:353

评论数:0

JVM内存模型

JVM定义了若干个程序执行期间使用的数据区域。这个区域里的一些数据在JVM启动的时候创建,在JVM退出的时候销毁。而其他的数据依赖于每一个线程,在线程创建时创建,在线程退出时销毁。  一、程序计数器 程序计数器是一块较小的内存空间,可以看作是当前线程所执行的字节码的行号指示器。分支...

2017-09-13 14:59:08

阅读数:69

评论数:0

kafka集群搭建和使用Java写kafka生产者消费者

http://czj4451.iteye.com/blog/2041096 server.properties 需要配置 broker.id=110 host.name=192.168.1.108 zookeeper.connect=192.1...

2017-08-31 16:11:04

阅读数:167

评论数:0

hadoop中使用MapReduce编程实例

原文链接:http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html 从网上搜到的一篇hadoop的编程实例,对于初学者真是帮助太大了,看过以后对MapReduce编程基本有了大概的了解。看了以后受益匪浅啊,赶紧...

2017-08-27 22:56:27

阅读数:96

评论数:0

kafka学习笔记:知识点整理

一、为什么需要消息系统 1.解耦:   允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 2.冗余:   消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息...

2017-08-25 17:04:15

阅读数:99

评论数:0

slf4j 和 log4j合用的(Maven)配置

简述: 添加logger的日志输出,下面是配置信息供备忘 步骤: 1. 在Maven的porn.xml 文件中添加dependency如下 [html] view plain copy dependency>       g...

2017-08-16 17:21:11

阅读数:74

评论数:0

scrapy提示DEBUG:Filtered offsite request to

在使用scrapy爬取数据时,只可以执行parse函数中的内容,通过yield scrapy.Request(url,callback=self.detail)方式无法跳转到detail函数,导致显示详细信息的url不能被解析。 通过查看log,发现提示如下:            DEBUG...

2017-08-07 14:56:39

阅读数:114

评论数:0

浅谈分布式消息技术:KAFKA

Kafka的基本介绍 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成...

2017-08-03 19:53:10

阅读数:120

评论数:0

golang 线程与通道

golang中的线程和通道

2017-08-02 13:51:42

阅读数:313

评论数:0

springboot的邮件服务

使用springboot框架实现QQ邮箱之间互相发送邮件

2017-07-31 19:18:29

阅读数:105

评论数:0

java api操作远程hadoop集群

先给个在集群根目录下建立test目录的例子: String uri="hdfs://ip地址:端口号"; Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.creat...

2017-06-15 19:35:59

阅读数:1282

评论数:0

php根据新闻id号获取新闻的详细内容,并把图片的相对路径换成绝对路

$username="admin";   $userpass="root";   $dbhost="localhost";   $dbdatabase="huanggangplat";   $id=$_REQU...

2014-07-13 10:23:39

阅读数:351

评论数:0

php获取新闻图标以及新闻内容中图片的绝对路径

function getImgSrc($content){ $flag = preg_match_all("//",$content,$getPicPath); if($flag){ return $getPicPath[1][0]; }else{ return nu...

2014-07-07 16:10:03

阅读数:675

评论数:0

php链接mysql数据库并且返回json数据(已每页10条数据显示)

$username="admin";   $userpass="root";   $dbhost="localhost";   $dbdatabase="huanggangplat";   $catid=$_R...

2014-07-06 14:32:40

阅读数:433

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭