- 博客(16)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 canal搭建+案例教程
早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps.目前内部使用的同步，已经支持mysql5.x和oracle部分版本的日志解析......
2022-08-08 11:50:03
734
2
原创 docker如何配置mysql的配置文件
1：首先安装docker 具体教程：https://www.runoob.com/docker/docker-tutorial.html2：虽然已经启动docker ,可mysql的配置文件 数据存放地址 我们都不知道。需要单独进行配置3：命令如下： docker run -itd --name mysql-test -p 3306:3306 -e MYSQL_ROOT_PASSWO...
2020-04-23 14:35:10
1908
原创 远程连接oracle 客户端
有2个虚拟机 一个安装oracle A ,一个安装远程客户端 B 在A端C:\app\Administrator\product\11.2.0\dbhome_1\NETWORK\ADMIN 中修改 listenerSID_LIST_LISTENER = (SID_LIST = (SID_DESC = (SID_NAME = orcl) 改为自己的
2016-08-19 22:12:26
426
原创 hadoop权限说明 2.4.1
hdfs文件系统对文件和文件夹的权限很多都借鉴了POSIX model（不懂），每个文件和文件夹都只能被他的拥有者或者组访问，文件拥有者，其他用户组的成员，和其他用户，对文件或文件夹拥有独立的权限。对于文件，r 代表能读取文件的权限，w 代表写权限或者追加到源文件。对文文件夹 ，r 权限是列出文件夹中的内容包括文件夹和文件，w是创建或者删除文件或者文件夹，x是访问文件夹的子节点。与POSI
2015-12-28 16:27:18
560
原创 多个Flume合并一个channel上传文件到Hdfs
利用flume收集各个web服务器的日志文件(这里是tomcat的日志文件)上传到hdfstomcat日志文件每一份中生成一次 flmue收集数据上传到hdfs ----------------------------------------------Flume的配置-------------------------------------------------配置如下
2015-12-13 18:44:27
1855
原创 Log4j 配置和使用
log4j 的maven 依赖 log4jlog4j1.2.16在java项目中添加log4j的配置文件log4j.properties显示log级别 ,要显示的类型 有3种 控制台输出， file 文件输出 和邮件通知log4j.rootLogger=debug, console,file,mail log4j.appender.file=org
2015-12-11 17:37:49
897
原创 mysql redhat 64位 安装
1. 下载MySQL 5.6下载页面：http://dev.mysql.com/downloads/mysql/此处选择“Red Hat Enterprise Linux 6 / Oracle Linux 6 (x86, 32-bit), RPM Bundle”下载，下载至/root/fuxian/目录下，下载文件名为“MySQL-5.6.30-1.el6.i686.rpm-bun
2015-11-16 23:38:09
510
原创 Flume 配置和读取tomcat文件到指定位置
1：去官网下载 flume 1.5 网址是：flume.apache.org2: 解压对应的tar 包 3：进去flume的conf目录 创建一个文件 vi example.conf # Define a memory channel called ch1 on agent1agent1.channels.ch1.type = memory
2015-11-10 14:51:05
3602
原创 Maven配置和使用eclipse创建MavenWeb项目
1：下载maven :maven.apache.org 下载maven2：解压Maven 配置环境变量 maven_home3: 在eclipse中配置Maven 3.1:3.2：配置本地的maven库 指的是maven的 setting 文件3.3： 打开 D:\apache-maven-3.3.3\conf\settings.xml 添加中国的镜像 --替
2015-11-09 10:14:52
514
转载 hive udf,udaf,udtf详解
Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：Text File，Sequence Fileb）内存中的数据格式： Jav
2015-07-11 20:48:32
1094
原创 Hadoop的hdfs的配置参数详解
1：在hdfs中删除一个文件，如何恢复，何时无法恢复其实是可配置的 在 core-site.xml中 配置 fs.trash.interval 10080 --单位为分钟 hadoop默认是没有恢复的。 查看被回收的文件 可以用命令 hadoop fs -ls /user/root/.Trash/Current/*重启后生效2：在配置文件中设置reduc
2015-06-26 14:18:35
647
原创 Hive的UDF编程
1：在eclipse中编写hive的自定义的函数时必须到入hadoop-core-1.1.2.jar ，hive-exec-0.9.0.jar 2个jar包 。jar包可根据自己版本添加。2 ：写一个类继承 UDF类 重写其中的 evaluate()方法 public class CountString extends UDF{public int evaluate(String
2015-06-24 21:12:37
499
原创 hive的使用
1:执行hive 命令进入 hiveShell2:查看数据库 show databases;3:hive 默认是default数据库 use default; 4:查看数据库中的表 show tables;5:创建一张新表 create table test_table( value string);6:加载数据到test_table 表中 load data local
2015-06-17 16:01:41
2418
原创 sqoop安装，使用流程
1.安装我们使用的版本是sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz，打算安装在/usr/local目录下。首先就是解压缩，重命名为sqoop，然后在文件/etc/profile中设置环境变量SQOOP_HOME。把mysql的jdbc驱动mysql-connector-java-5.1.10.jar复制到sqoop项目的lib目录下。
2015-05-13 15:44:12
437
原创 hadoop平台的搭建
1.Hadoop是什么？适合大数据的分布式存储和计算平台。2.Hadoop的核心组成？HDFS(分布式的文件系统)和MapReduce(分布式的计算平台)。3.HDFS的结构？主(只有一个，NameNode)、从(有多个，DataNode)式结构。4.MapReduce的结构？主(只有一个， JobTracker)、从(有多个，TaskTracker)式结构。5
2015-02-13 13:07:00
446
原创 linux环境下安装Mysql数据库
1：首先下载linux版本的mysql数据库的服务端和客户端 --linux 是红帽64位的MySQL-client-5.5.28-1.linux2.6.x86_64.rpm ---->客户端MySQL-server-5.5.39-2.el6.x86_64.rpm ---->服务端2：用rpm 命令 对安装包进行安装
2015-02-13 11:27:22
739
ik-analyzer-solr5 jar包
2016-01-13
sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz
2015-05-13
hbase-0.94.7-security.tar.gz
2015-05-12
mysq-linux下的客户端
2015-02-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人