关闭

Sqoop导入关系数据库到Hive

Sqoop 是 apache 下用于 RDBMS 和 HDFS 互相导数据的工具。本文以 mysql 数据库为例,实现关系数据库导入到 hdfs 和 hive。 1. 安装 Sqoop 使用 rpm 安装即可。 yum install sqoop sqoop-metastore -y 安装完之后需要下载 mysql jar 包到 sqoop 的 lib 目录。 ...
阅读(90) 评论(0)

Hive部署安装

1.解压安装包      tar -zxvf apache-hive-2.3.0-bin.tar.gz 2.添加环境变量,在文件/etc/profile中或者/home/登录用户名/.bash_profile中添加,两者有什么区别请自行查找。     导入下面的环境变量     export HIVE_HOME = hive目录路径     export PATH = $HIVE_HOM...
阅读(22) 评论(0)

Linux-profile、bashrc、bash_profile之间的区别和联系

为使Bash更好地为我们服务,我们需定制bash shell环境。 ~/.bash_profile、~/.bashrc、和~/.bash_logout 上面这三个文件是bash shell的用户环境配置文件,位于用户的主目录下。其中.bash_profile是最重要的一个配置文件,它在用户每次登录系统时被读取,里面的所有命令都会被bash执行。.profile(由B...
阅读(25) 评论(0)

Sqoop2 Java客户端API指南

原文连接:http://sqoop.apache.org/docs/1.99.6/ClientAPI.html Sqoop Java客户端API指南 这篇文章秒描述了额如何在外部应用中使用sqoop java 客户端API。通过客户端API可以实现sqoop命令的功能。使用Sqoop客户端API需要Sqoop 客户端Jar文件及其依赖。 提供了支持sqool操作的封装方法的主...
阅读(23) 评论(0)

JAVA操作SQOOP对象

JAVA操作SQOOP对象 Posted on 2017-06-06 16:57 J'KYO 阅读(203) 评论(0) 编辑 收藏 Windows下使用Eclipse工具操作Sqoop1.4.6对象 Sqoop是用来在关系型数据库与Hadoop之间进行数据的导入导出,Windows下使用Eclipse工具操作时,需要先搭建好Hadoop的开发环境 参照Java操作HDFS...
阅读(60) 评论(0)

java访问hdfs文件时碰到的一些问题

1.java.io.IOException:No FileSystem for scheme:hdfs 解决:在pom.xml中漏添加了依赖 。下面3个依赖必不可少 org.apache.hadoop hadoop-common 2.7.1 org.apache.hadoop hadoop-hdfs 2.7.1 org.apache.hadoop had...
阅读(43) 评论(0)

JVM内存模型

JVM定义了若干个程序执行期间使用的数据区域。这个区域里的一些数据在JVM启动的时候创建,在JVM退出的时候销毁。而其他的数据依赖于每一个线程,在线程创建时创建,在线程退出时销毁。  一、程序计数器 程序计数器是一块较小的内存空间,可以看作是当前线程所执行的字节码的行号指示器。分支、循环、跳转、异常处理、线程恢复等基础功能都需要依赖这个计数器来完成。  由于Java 虚拟机的多线...
阅读(28) 评论(0)

kafka集群搭建和使用Java写kafka生产者消费者

http://czj4451.iteye.com/blog/2041096 server.properties 需要配置 broker.id=110 host.name=192.168.1.108 zookeeper.connect=192.168.1.108:2181 log.dirs=/usr/local/kafka_2.10-0...
阅读(35) 评论(0)

hadoop中使用MapReduce编程实例

原文链接:http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html 从网上搜到的一篇hadoop的编程实例,对于初学者真是帮助太大了,看过以后对MapReduce编程基本有了大概的了解。看了以后受益匪浅啊,赶紧保存起来。   1、数据去重    "数据去重"主要是为了掌握和利用并行化思想来对数据进...
阅读(63) 评论(0)

kafka学习笔记:知识点整理

一、为什么需要消息系统 1.解耦:   允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 2.冗余:   消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕。 3.扩展性...
阅读(54) 评论(0)

slf4j 和 log4j合用的(Maven)配置

简述: 添加logger的日志输出,下面是配置信息供备忘 步骤: 1. 在Maven的porn.xml 文件中添加dependency如下 [html] view plain copy dependency>       groupId>org.slf4jgroupId>       artifactId>slf4j-log4j...
阅读(41) 评论(0)

scrapy提示DEBUG:Filtered offsite request to

在使用scrapy爬取数据时,只可以执行parse函数中的内容,通过yield scrapy.Request(url,callback=self.detail)方式无法跳转到detail函数,导致显示详细信息的url不能被解析。 通过查看log,发现提示如下:            DEBUG:Filtered offsite request to 域名  通过查资料,发现request  ...
阅读(45) 评论(0)

浅谈分布式消息技术:KAFKA

Kafka的基本介绍 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 主要应用场景是:日志收集系统和消息系统。 Kafka主要设计目标如下: ...
阅读(76) 评论(0)

golang 线程与通道

golang中的线程和通道...
阅读(72) 评论(0)

springboot的邮件服务

使用springboot框架实现QQ邮箱之间互相发送邮件...
阅读(37) 评论(0)

java api操作远程hadoop集群

先给个在集群根目录下建立test目录的例子: String uri="hdfs://ip地址:端口号"; Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create(uri),conf); String pathString = "/test"; boolean exists =...
阅读(377) 评论(0)

php根据新闻id号获取新闻的详细内容,并把图片的相对路径换成绝对路

$username="admin";   $userpass="root";   $dbhost="localhost";   $dbdatabase="huanggangplat";   $id=$_REQUEST['id'];   //生成一个连接   $db_connect=mysql_connect($dbhost,$username,$userpass) or die("Un...
阅读(302) 评论(0)

php获取新闻图标以及新闻内容中图片的绝对路径

function getImgSrc($content){ $flag = preg_match_all("//",$content,$getPicPath); if($flag){ return $getPicPath[1][0]; }else{ return null; } } function replaceImagSrc($content){ //获得img src的数组...
阅读(522) 评论(0)

php链接mysql数据库并且返回json数据(已每页10条数据显示)

$username="admin";   $userpass="root";   $dbhost="localhost";   $dbdatabase="huanggangplat";   $catid=$_REQUEST['catid'];   //生成一个连接   $db_connect=mysql_connect($dbhost,$username,$userpass) or d...
阅读(351) 评论(0)

PS的一些简单操作

前一段时间需要对图片进行简单的...
阅读(261) 评论(0)
23条 共2页1 2 下一页 尾页
    个人资料
    • 访问:3633次
    • 积分:170
    • 等级:
    • 排名:千里之外
    • 原创:12篇
    • 转载:11篇
    • 译文:0篇
    • 评论:1条
    文章分类
    最新评论