大数据_hive和sparksql的对比

spark sql可以使用hive里面的表,并做操作,并且会很快 但是需要做如下配置 1.hive-site.xml hive的元数据配置文件要拷贝到spark的conf路径下 2.spark的启动要加上--jars mysql连接jar包的路径 如果还是出现错误: Exceptio...

2018-08-28 15:12:36

阅读数 861

评论数 0

大数据_实时数据处理(Flume+Kafka+Sparkstreaming)

版本: kafka的版本:kafka_2.11-0.11.0.0 spark的版本:spark-2.3.1-bin-hadoop2.6 flume的本班:apache-flume-1.7.0-bin 实现目的: 采集实时生成的日志数据,通过flume将数据传递给kafka 做缓冲,由spar...

2018-08-02 22:35:34

阅读数 806

评论数 0

消除Linux中的烦人的滴滴声以及sublimean操作linux_小记

转载:https://blog.csdn.net/z1x2c34/article/details/69385485 1.消除linux客户端中bash的滴滴声 编辑/etc/inputrc文件 把#set bell-style none注释去掉 重新登录即可 2.去掉vim中的滴滴声 编辑...

2018-07-29 20:47:13

阅读数 170

评论数 0

大数据_本地与远程(测试篇)

软件包和代码的位置: 链接:https://pan.baidu.com/s/1hmm2f-NkkHuHbhlnmo0iew 密码:vjwy wordcount: 1:关于hadoop里面的参数 BooleanWritable:标准布尔型数值 ByteWritable:单字节数值 Double...

2018-07-18 23:38:58

阅读数 93

评论数 0

大数据_Flume

大数据_Flume Flume的安装 Flume的介绍 Flume的测试 Flume的自定义拦截器 Flume入门视频位置 Flume的安装 1.解压 tar -zxvf /home/flume/big...

2018-07-18 17:19:44

阅读数 447

评论数 0

大数据_离线数据处理

大数据_离线数据处理 流程介绍 安装搭建 离线流程测试 可能遇见的问题 搭建及入门视频 流程介绍 mysql和oracle处理数据太慢,着急想要处理结果,搭建个大数据环境处理吧,不使用快速搭建平台 环境 centos7.4 ...

2018-07-17 21:44:29

阅读数 120

评论数 0

数据处理流程_Kettle

数据处理流程_Kettle kettle的优势 kettle的安装 kettle的使用 kettle的ETL流程例子 kettle的优势 kettle是基于Java开发的jdk是必须安装的 kettle实现了数据流程拖拽实现的可视化界面 ket...

2018-04-13 18:17:14

阅读数 1145

评论数 0

网站开发_springboot

网站开发_springboot 网站介绍 涉及到的相关知识点 网站源码 网站介绍 做一个产品展示类的网站,涉及到的技术springboot、vue、redis 网站的样子不是很好看,界面自己调整 http://39.105.69...

2018-04-12 16:06:23

阅读数 259

评论数 0

大数据_搭建前的准备

大数据_搭建前的准备 在后台常用到数据的加工合并连接等操作形成新的表,里面会对应你想要的数据(维度等信息),在前台可以使用,一个月内的情况,近7天得情况等统计分析 。 1>.最初你可能想通过web端用Java写计算公式得出结果(会...

2017-12-13 10:24:16

阅读数 156

评论数 0

Java操作linux脚本

近期在实现Java调用linux命令及脚本实现数据的批处理,文件的生成,下面记录下我所有遇见的问题 1、Java调用shell脚本        RemoteShellExecutor 有很多实现demo 我的脚本:      #!/bin/bash source /home/oracle/....

2017-10-31 18:04:00

阅读数 723

评论数 0

ajax请求手机端加载问题

近期测试网站,发现手机版本的界面ajax加载不出东西,才想着了解一下ajax的原理。ajax:并非一种新的技术,而是几种原有技术的结合体   1.使用CSS和XHTML来表示。   2.使用DOM模型来交互和动态显示。   3.使用XMLHttpRequest来和服务器进行异步通信。   4.使用...

2017-10-19 10:52:37

阅读数 1088

评论数 0

网站创建_前期知识准备

网站创建_前期知识准备 相关技术 常见问题 相关技术 idea、vue、springmvc、springboot,ajax,redis 常见问题 打开域名直接跳转对应的请求或者页面,pom文件中配置 <welcome-file-li...

2017-09-18 10:21:48

阅读数 405

评论数 0

shell调用oracle例子

数据抽取到临时表(存储过程test(num)执行该操作),在将表中数据写入到txt文件,最后将txt打包zip 原先一直和代码打交道,做任何事都考虑的是使用代码完成,所以一开始就写了份代码: 1:读取配置配置文件(里面写了要操作的号)excel emp...

2017-09-14 13:21:51

阅读数 1854

评论数 0

excel表数据入库到oracle,并做数据映射操作

最近接到一个任务对800条数据做数据映射,800多条数据存储在oracle中的 zxy_department_text中,映射表在excel中 zxy_department_test表  其子段EFFPREFECTURECODE没有值,需要对照一个文档,根据orgname查找excel文档和or...

2017-08-03 18:45:26

阅读数 373

评论数 0

kafka安装及测试

忘记在哪里看到的但是感觉解释的很好。 zookeeper 协调转发 producers通过网络将消息发送到Kafka集群,集群向消费者提供消息kafka对消息进行归纳,即topic,也就是说producer发布topic,consumer订阅topic 消息的发布(publish)称作pro...

2017-04-17 11:17:38

阅读数 177

评论数 0

关于jeesite字典表的实现,el自定义方法tld

用jeesite搭建项目发现字典表非常好用,速度的转义很快,看了下代码,简单的解释下,发现是是使用了el自定义方法tld 1:在jsp的获取方式${fns:getDictList('yes_no')}   是否允许登录: ...

2017-04-10 11:02:38

阅读数 5442

评论数 0

spring mvc定时任务

当需要定时缓存,或者做一些定时任务时,最早可能是页面发请求(页面定时),还有就是在配置文件配置在web.xml 但是遇到各种问题,例如初次启动默认多次加载多次(可解决),或者‘定时任务的下一层方法无法获取自动注入的service’(笨办法是通过参数传过去)等等,实在是费时费力 spring m...

2017-04-01 10:35:55

阅读数 227

评论数 0

虚拟机和本机互相ping不通的问题

搭建hadoop集群在本机弄了三个虚拟机 前段时间,公司搬家网自然变了,原先建立在本机的虚拟机由于更换ip 出现连接不上的问题,后来修改了ip可以ping通   后期可能因为网络原因不了解网络连接,乱停止vmnet8等,再次使用hadoop时又出现问题(相互ping 不通),在网上各种找解决方式...

2017-03-29 15:26:16

阅读数 10764

评论数 0

工作流activiti表结构

activiti工作流,在工作中正好使用上:先引入几篇文章:作者写的蛮好的         工作流扫盲:https://blog.csdn.net/zwk626542417/article/details/46592471                             https://b...

2017-03-08 16:33:40

阅读数 2231

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭