大数据
文章平均质量分 54
保温杯有枸杞
这个作者很懒,什么都没留下…
展开
-
Flume将数据输出到HDFS
a2.sources = r2a2.sinks = k2a2.channels = c2a2.sources.r2.type = execa2.sources.r2.command = tail -F /opt/module/hive/logs/hive.loga2.sources.r2.shell = /bin/bash -ca2.sinks.k2.type = hdfsa2.sinks.k2.hdfs.path = hdfs://hadoop102:8020/fl..原创 2021-08-24 10:39:08 · 447 阅读 · 0 评论 -
sql server 开启cdc 、判断是否开启cdc,修改cdc时间
第一步:开启CDC服务EXECUTE sys.sp_cdc_enable_dbselect name,case when is_tracked_by_cdc='1' then '成功' else '失败' END AS is_tracked_by_cdc_NAME,is_tracked_by_cdc,*from sys.tables swhere name like '%BH...原创 2020-03-05 13:52:46 · 1400 阅读 · 0 评论 -
采用rpc框架,模拟客户端查询namenode元数据
服务器:package com.dong.service.impl;public interface ClientProImpl { public static final long versionID=1L; public String getMetaData(String path);}package com.dong.service;...原创 2019-09-08 17:01:39 · 112 阅读 · 0 评论 -
解决做hadoop统计词频产生的java.net.connection:拒接连接问题
1、关闭防火墙2、主机名一定要确认,不是修改了就生效了,必须重启。3、除yarn-site.xml外其他都改成ip,yarn-site.xml可以用主机名。...原创 2019-09-11 14:35:58 · 348 阅读 · 0 评论 -
用mapreduce框架把Java 打成jar包,发送给服务器查询词频。
package com.dong.Maprudece.Demo;import java.io.IOException;import java.util.Iterator;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.m...原创 2019-09-11 14:36:38 · 188 阅读 · 0 评论 -
利用MapReduce框架对电话号码的上行流量和下行流量及总流量进行统计
package com.dong.flow.phone;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;public class FlowPhoneBean im...原创 2019-09-16 15:00:34 · 355 阅读 · 0 评论 -
对电话号码的上行流量和下行流量及总流量进行统计,并且进行按省份分组,相同省份分到同一组
package com.dong.flow.phone;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;public class FlowPhoneBean im...原创 2019-09-16 15:07:29 · 354 阅读 · 0 评论 -
安装完sqlserver改变计算机主机名造成的服务器名称错误
select @@servernameselect serverproperty('servername')查询不一致执行IF@@SERVERNAME<>SERVERPROPERTY('SERVERNAME')BEGIN EXEC sp_dropserver @server = @@SERVERNAMEDECLARE @new_...原创 2019-10-10 16:48:50 · 621 阅读 · 0 评论 -
对文件进行拆分上传到hdfs
package cn.dong.test;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.commons....原创 2019-09-07 20:49:52 · 1176 阅读 · 0 评论 -
实现hadoop与本地的上传下载
hadoop集群已经建立完成,实现客户端与集群之间的上传于下载,查看。首先需要配置windows下的环境配置,在环境变量下新建HADOOP_HOME,设置成hadoop目录(D:\hadoop-2.7.3),在path下追加%HADOOP_HOME%\bin,检查是否配置成功,在命令行输入hadoop或者hadoop version检查。之后进行编码:package cn.dong.tes...原创 2019-09-03 16:43:39 · 144 阅读 · 0 评论 -
yum的配置
1、本地yum配置首先挂载,cd etc/yum.repos.d/ (rename .repo .repo.bak * mv CentOS-Media.repo.bak CentOS-Media.repo) yum repolist vi CentOS-Media.repo修改baseurl=file:///media/CentOS/ file:///med...原创 2019-08-19 14:46:45 · 226 阅读 · 0 评论 -
安装zookeeper
安装zookeeperYum install lrzszRzTar -zxvf(解压 -czxf压缩) zookeeper -C(指定目录) apps/Scp zoo_sample.cfg zoo.cfg修改dataDir=/root/zkdataserver.1=Dong:2888:3888server.2=Dong1:2888:3888server.3...原创 2019-08-19 14:47:46 · 68 阅读 · 0 评论 -
java的安装
java的安装,传到虚拟机,解压配置环境变量vi /etc/profileexport JAVA_HOME=/root/apps/jdk1.7.0_45export PATH=$PATH:$JAVA_HOME/binsource /etc/profile原创 2019-08-19 14:48:31 · 78 阅读 · 0 评论 -
防火墙
关闭防火墙service iptables off开启防火墙service iptables on关闭防火墙永久Chkconfig iptables off原创 2019-08-19 14:49:44 · 67 阅读 · 0 评论 -
安装hadoop集群
安装hadoop集群首先jdk环境最简化配置如下:vi hadoop-env.sh # The java implementation to use. export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_51 vi core-site.xml <configuration> <...原创 2019-08-19 14:50:17 · 105 阅读 · 0 评论 -
VMware内部错误
开启VMware提示内部错误解决方法:打开任务管理器,在服务一栏中启动VmAuthd service原创 2019-08-17 00:05:17 · 533 阅读 · 0 评论 -
centos系统修改主机名
在命令终端 输入vim /etc/sysconfig/network ,修改主机名原创 2019-08-17 00:08:16 · 65 阅读 · 0 评论 -
secure crt连接不上虚拟机
打开VMWare,编辑->虚拟网络编辑器,点击更改设置。注意,我们分配给虚拟机的IP网关必须和虚拟网络编辑器里面的一致。比如下面子网ip是192.168.16.0,那我们我们虚拟机通过ifconfig获取到的ip必须是192.168.16.X,而且我们在宿主机配置VMnet8的时候IP网关也需要一致....原创 2019-08-17 00:15:31 · 440 阅读 · 0 评论 -
克隆的注意事项
修改主机名 vi /etc/sysconfig/network 修改ip vi /etc/sysconfig/network-scripts/ifcfg-eth0,删除uuid和物理地址 vi /etc/udev/rules.d/70-persistent-net.rules 把etho物理地址改为eth1,删除erh1一栏。...原创 2019-08-17 00:16:08 · 147 阅读 · 0 评论 -
开启虚拟机显示独占模式锁定配置文件
查看服务是否有多个vmware-vmx.exe进程,...原创 2019-08-17 00:16:35 · 1845 阅读 · 0 评论 -
统计文本单词出现的频率
前提:查看Hadoop的文件系统Hadoop fs -ls /上次文件系统某个文件Echo dfjkf > 111.aviHadoop fs -put 111.avi /1、在hadoop文件系统创建文件夹hadoop fs -mkdir -p /wordcount/input2、上传txt 。 hadoop fs -put a.txt b.txt /wordco...原创 2019-09-03 16:34:47 · 332 阅读 · 0 评论 -
关于centos的挂载
个人认为centos的挂载,主要是增加yum库挂载方法:mount [-afFhnrvVw] [-L<标签>] [-o<选项>] [-t<文件系统类型>] [设备名] [加载点]mount -t iso9660 -o ro /dev/cdrom /mnt/cdrom/参数:-a 加载文件/etc/fstab中设置的所有设备。-f 不实际加载...原创 2019-08-19 14:37:34 · 169 阅读 · 0 评论