排序:
默认
按更新时间
按访问量

大数据--》》flume下

flume 的搭建: 1.jdk的安装       11.解压jdk:         tar -zxvf jdk-8u102-linux-x64.tar.gz -C ~/bigdata/install/       12.修改环境变量:               vim ~/.bash_p...

2018-09-06 20:10:51

阅读数:23

评论数:0

大数据---》》主机名的修改

  (转) 在CentOS6及其以下版本一般通过修改配置文件的办法来修改主机名,此配置文件一般为/etc/sysconfig/network,但在CentOS7中,很多系统管理工具都被替换了。 例如想更改主机名,不能参考以前的方法了,新的配置文件已经更新为/etc/hostname,尽管修改/...

2018-08-29 21:26:44

阅读数:38

评论数:0

大数据-----》》》hive和sparksql的对比

spark sql可以使用hive里面的表,并做操作,并且会很快 但是需要做如下配置 1.hive-site.xml hive的元数据配置文件要拷贝到spark的conf路径下 2.spark的启动要加上--jars mysql连接jar包的路径      如果还是出现错误: Excep...

2018-08-28 15:12:36

阅读数:246

评论数:0

大数据--》》实时数据处理(Flume+Kafka+Sparkstreaming)

kafka的版本:kafka_2.11-0.11.0.0 spark的版本:spark-2.3.1-bin-hadoop2.6 flume的本班:apache-flume-1.7.0-bin >>>>&am...

2018-08-02 22:35:34

阅读数:159

评论数:0

大数据--》》好友推荐

qq上会给你显示你们有多少个共同好友 或者也会给你推荐好友,推荐的方式有你的手机微信联系人,还有一种就是因为你们有共同好友 为了方便理解,我们用其他的例子介绍 数据;用户喜欢吃的水果 张三:苹果,栗子,香蕉,葡萄 李四:葡萄,栗子,荔枝 王五:苹果,栗子,葡萄 赵六:苹果,香蕉,荔枝...

2018-07-31 22:19:06

阅读数:43

评论数:0

大数据--》》sqoop导mysql的数据到hive(报错)

一个问题困扰好久必须要记录下 使用hadoop的版本2.6.0-cdh5.7.0        hive 的版本2.3.3        sqoop的版本1.4.7或者1.4.6 错误;  sqoop能导数据到hdfs           hive单独使用也不报错           ...

2018-07-30 21:23:46

阅读数:46

评论数:0

消除Linux中的烦人的滴滴声以及sublime去连接linux,修改上面的文件

转载:https://blog.csdn.net/z1x2c34/article/details/69385485 1.消除linux客户端中bash的滴滴声 编辑/etc/inputrc文件  把#set bell-style none注释去掉  重新登录即可 2.去掉vim中的滴滴声 ...

2018-07-29 20:47:13

阅读数:45

评论数:0

大数据===》》》本地与远程测试篇

软件包和代码的位置: 链接:https://pan.baidu.com/s/1hmm2f-NkkHuHbhlnmo0iew 密码:vjwy wordcount: 1:关于hadoop里面的参数 BooleanWritable:标准布尔型数值 ByteWritable:单字节数值 Double...

2018-07-18 23:38:58

阅读数:59

评论数:0

大数据---》》》flume上

笔记及视频位置: 链接:https://pan.baidu.com/s/11IXcvZZm9DOulUaZVC8l-A 密码:p029 1.在开始之前:需要修改下主机名         vim /etc/hosts          192.168.126.129 master  2...

2018-07-18 17:19:44

阅读数:117

评论数:0

大数据===》》》关系型数据的操作流程

笔记及视频位置: 链接:https://pan.baidu.com/s/1ek7U-dojpXyiDHU-5tqeqg 密码:cp5f 权限不够的问题: 我原先用过hadoop用户又强制删除了:原因 https://blog.csdn.net/milhua/article/detail...

2018-07-17 21:44:29

阅读数:21

评论数:0

windows环境kettle使用及linux环境要注意的问题

  kettle是基于Java开发的jdk是必须安装的  kettle实现了数据流程拖拽实现的可视化界面  kettle对linux和windows都支持  kettle主要是两部分:job和transformation(转换)      job主要实现执行时间和执行顺序的配置,当然也串trans...

2018-04-13 18:17:14

阅读数:524

评论数:0

springboot结合ElasticSearch开发小型网站遇见的问题

原先用springmvc+mybatic 搭建了一个网站,IDEA搭建项目遇见的问题整理网站:smile.kimgithub:https://github.com/smiledip/xinhua最近以springboot,elasticsearch等技术调整下项目框架:springboot前端:V...

2018-04-12 16:06:23

阅读数:128

评论数:0

大数据===》》》flume基础知识篇

  flume的官网:http://flume.apache.org/ 简介:             对于实时的获取数据,flume是很好的框架,如果没有flume去获取实时数据我们会怎样做?            1. 如果数据库中是不是就是 找insert 语句触发(采集方式)  ...

2017-12-13 10:48:01

阅读数:64

评论数:0

大数据===》》》相关知识入门

大数据相关入门的介绍:            在后台常用到数据的加工合并连接等操作形成新的表,里面会对应你想要的数据(维度等信息),在前台可以使用,一个月内的情况,近7天得情况等统计分析 1.最初你可能想通过web端用Java写计算公式得出结果(会发现很慢)---》2.后期你方发现直接写一些脚本...

2017-12-13 10:24:16

阅读数:116

评论数:0

Java操作linux脚本

近期在实现Java调用linux命令及脚本实现数据的批处理,文件的生成,下面记录下我所有遇见的问题 1、Java调用shell脚本        RemoteShellExecutor 有很多实现demo 我的脚本:      #!/bin/bash source /home/oracle/....

2017-10-31 18:04:00

阅读数:368

评论数:0

String、StringBuffer、StringBuilder源码分析

其实换一个环境,哪怕是糟糕的环境,你都能换一种思考和看待事物的方式。  String:是不可变的对象(final),所以他的改变都是新new一个   string a=123;   a=a+1;   其实就是新new了一个对象  StringBuffer:public final class St...

2017-10-23 09:32:41

阅读数:188

评论数:0

ajax请求手机端加载问题

近期测试网站,发现手机版本的界面ajax加载不出东西,才想着了解一下ajax的原理。ajax:并非一种新的技术,而是几种原有技术的结合体   1.使用CSS和XHTML来表示。   2.使用DOM模型来交互和动态显示。   3.使用XMLHttpRequest来和服务器进行异步通信。   4.使用...

2017-10-19 10:52:37

阅读数:306

评论数:0

idea建站遇见的小问题

idea加载图片,js以及css 一开始在本地测试,直接使用  一开始在本地测试使用run->edit configurations ->deployment->+->external source 选择对应css,js和imager的的路径,配这种置好applicatio...

2017-09-18 10:21:48

阅读数:353

评论数:0

shell脚本操作oracle数据库

         数据抽取到临时表(存储过程test(num)执行该操作),在将表中数据写入到txt文件,最后将txt打包zip原先一直和代码打交道,做任何事都考虑的是使用代码完成,所以一开始就写了份代码:        1:读取配置配置文件(里面写了要操作的号)excel            ...

2017-09-14 13:21:51

阅读数:1331

评论数:0

折磨死人的局域网

最近工作环境换成了局域网,所有的都要使用http代理,qq,微信等不设置木有办法使用。     开发环境idea+maven+scala+sbt等     1、在idea上安装插件scala要设置代理:配置 上代理ip和端口,测试即可     2、maven由于要下载jar包等也要 配置代理:设置...

2017-08-28 10:11:51

阅读数:203

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭