- 博客(17)
- 资源 (17)
- 收藏
- 关注
原创 Scala学习——介绍,安装,idea安装使用。
Scala介绍Spark1.6中使用的是Scala2.10。Spark2.0版本以上使用是Scala2.11版本。Scala官网6个特征。1).Java和scala可以混编2).类型推测(自动推测类型)3).并发和分布式(Actor)4).特质,特征(类似java中interfaces 和 abstract结合)5).模式匹配(类似java switch)6).高阶函数Sca...
2019-11-24 22:24:26 258
原创 大数据小试牛刀---------(一)配置Hiveserver2,并编写Spring boot集成hive-jdbc程序(结尾附源码)
hiveserver2的配置和启动在之前的讲解中,我们已经安装好啦Hive,那么这次我们来配置好hiveserver2进行实际项目中操作Hive吧。Hive安装地址:Hive 安装教程配置hive-site.xml进入hive安装目录下的conf文件夹,更改hive-site.xml配置文件,现对其进行配置修改。 <property> ...
2019-11-18 22:38:20 525
原创 大数据学习之路(准备篇)---------(五)Redis cluster集群搭建并进行压力测试
上一节,我们已经搭建好了HIVE,这一节我们来搭建Redis cluster集群吧,现在都是环境搭建,后续的我们有了实际数据后会在这个集群上来进行数据分析,让我们一步一步的向钱推进吧????!redis5.0.2集群搭建(两台服务器6节点)我在集群中选两个节点(node1:192.168.30.101 node2:192.168.30.102)redis下载地址:下载地址在linux下安装...
2019-10-31 22:43:05 1401 1
原创 大数据学习之路(准备篇)---------(四)「HA」Hadoop高可用下Hive和Mysql搭建教程
上一节说到,我们公司要用hdfs+hive+spark构成大数据分析的技术栈。本节就先把Hive和Mysql安装好,上次有朋友问我为什么不装个Ambari,这样不管搭建集群和后面的管理不就方便很多了,其实主要是想从头开始了解这些组件中的一些机制,不然用自动安装的,只知道用,不明白他是怎么来的,公司里有在用星环大数据平台(TDH)和Ambari,就我使用体验来说,感觉还是Ambari用着顺手一点,这...
2019-10-27 17:08:14 423
原创 大数据学习之路(准备篇)---------(三)「HA」Hadoop-2.9.2下配置Mapped和Yarn简单
在上一节中,我们详细搭建了「HA」Hadoop-2.9.2高可用集群,高可用解决了单点故障的问题,但是集群还需要资源调度管理,还需要执行MapReduce任务,所有我们继续把Mapped和Yarn配置好,这样我们就可以做一些简单的数据处理了。Mapped和Yarn根据自己的需要进行不同的配置,在Hadoop官方文档中列出了详细参数配置。hadoop-2.7.1 Yarn配置的相关文档地址:Ya...
2019-10-27 11:14:45 160
原创 大数据学习之路(准备篇)---------(二)「HA」Hadoop-2.9.2集群搭建
在上一篇中已经介绍了Linux虚拟机的搭建,那么下一步我们就应该来搭建我们的Hadoop集群了。系列主要增加了HA高可用和YARN,一个充分解决了集群环境中namenode挂掉的情况,一个解决了mapreduce计算的缺陷。那么下面我们来具体操作吧。集群目标在进行HA配置之前需要对HA的基本概念有所了解,并且设计好HA的集群节点。在之前1.0的时候NameNode 存在单点故障,虽然有 Sec...
2019-10-24 21:41:01 206
原创 大数据学习之路(准备篇)---------(一)集群环境准备
前一阵子刚换了15寸的MBP,所有的东西又要重新开始准备了,不过也好,这次要来一次完整的记录,顺便提一句,MAC是真的好用啊,所有的操作都是那么顺滑流畅。正应了那句话,一入Mac深似海,从此钱财是路人。????虚拟机准备VMware Fusion下安装CentOS7VMware Fusion是我不管在Windows还是Mac下最喜欢的虚拟机软件。打开浏览器,下载地址:http://mirrors...
2019-10-20 10:00:55 299
原创 Postman向后台传json测试(spring boot)
需求不停的改,这就比较坑了,他们做出界面一调我们提供的接口,各种不通,还是我门用postman测好再给他们吧,不闲扯了。记录今天的坑。大家使用过tree树吗,可以多选,就跟省市级联一样,但是我们可能跨省跨市跨县,wow!好麻烦!首先要在postman下的heager中key输入Content-Type,value自然输入application/json。如下图然后点击body,选择r...
2019-10-15 22:09:36 666
原创 spring boot devtools实现热部署
首先要设置idea的配置(1) “File” -> “Settings” -> “Build,Execution,Deplyment” -> “Compiler”,选中打勾 “Build project automatically” 。(2) 组合键:“Shift+Ctrl+Alt+/” ,选择 “Registry” ,选中打勾 “compiler.automake.allow.w
2017-12-17 10:10:26 150
原创 Spring boot项目整合thymeleaf和shiro
项目使用了spring boot 框架和orm框架用了spring data jpa和前台是thymeleaf第一步:先在pom.xml加入thymeleaf和shiro的依赖 <dependency> <groupId>com.github.theborakompanioni</groupId&g...
2017-12-08 23:01:09 3690
原创 jpa多对多映射时(@ManyToMany)时堆溢出(java.lang.StackOverflowError: null )
JPA(多对多映射) 角色和菜单多对多映射TSRoleEntity.classpackage com.nwnu.GanSuBank.system.manager.role.domain; import com.fasterxml.jackson.annotation.JsonIgnore; import com.nwnu.GanSuBank.system.manage...
2017-12-07 16:20:59 4132 3
原创 hadoop集群配置flume
1.先从官网下载flume的jar包。我们下载最新的Apache Flume binary (tar.gz) 1.8版本地址:http://www.apache.org/dyn/closer.lua/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz2.之后再hadoop中解压tar -zxvf apache-flume-1.8.0-bin.tar.gz
2017-11-22 23:18:12 882
原创 bootstrap-table遇到的问题
1.controller层queryParams 参数提交不过去 是因为 bootstrap-table.js中默认是contentType: 'application/json',我们必须改成contentType : "application/x-www-form-urlencoded",而且必须是post提交。/因为bootstrap-table.js源码中是:...
2017-11-18 11:10:24 3254
原创 Hadoop下用MapReduce处理WordCount
WordCount 分词算法我使用eclipse开发,一共有三个类WCJob.class、WCMapper.class、WCReduce.class。WCMapper.class对上传的数据进行筛选,比方说用空格间隔,而WCReduce.class在对筛选后的词进行累加。算法很简单~直接上代码。WCJob.classpackage com.jpf.wc;import jav
2017-10-29 22:47:36 236
原创 thymeleaf模板引擎div th:each=展示echarts图表
前台动态展示echarts图表,使用spring boot 与 thymeleafhtml页面<div th:each="row,iterStat:${county_list}" style="margin-top: 50px"> <div class="aa" th:id="'con'+${iterStat.count}">Onions<...
2017-10-28 18:20:32 4910
原创 Hadoop 编译时报java.lang.UnsatisfiedLinkError
我电脑上的hadoop版本是2.7.4,当运行mapreduce程序时报org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V错误,后来发现是hadoop.dll版本跟hadoop版本不一致,所以应当替换hadoop的bin目录下的hadoop.dll文件和winut
2017-10-27 23:08:29 793
云计算实验报告
2017-12-29
招聘网站项目
2017-12-15
操作系统全部实验
2017-12-15
echarts3-chinese-map
2017-12-09
WordCount分词/ecplise
2017-10-29
使用动态优先权和时间片轮转的进程调度算法的模拟
2017-09-20
eclipse-hadoop
2017-09-20
企业电子商城(源码+数据库脚本)
2017-09-20
echarts-spring-mybatis-master
2017-09-20
非常漂亮后台登陆界面和管理界面HTML源码
2017-09-19
OA办公自动化管理系统(Struts1.2+Hibernate3.0+Spring2+DWR)
2017-07-06
高校选课系统
2016-06-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人