- 博客(22)
- 收藏
- 关注
RSS订阅转载 大数据（日志分析）练手项目
需求：统计一个网页的访问次数pv，及其用户访问量uv环境：hadoop-cdh伪分布式,mysql,hive,sqoop,springboot思路：编码开始：1.将爬取的元数据上传至hdfs文件系统bin/hdfs dfs -mkdir /projectbin/hdfs dfs -put /usr/local/2015082818 /project...
2019-02-15 21:41:00
1426
转载 大数据（sqoop）
1. 什么是sqoop sqoop是apache组织开源的一个hadoop的辅助工具2. 作用: hdfs/hive ----- rdb搭建Sqoop的开发环境CDH版 Hadoop 和 Hive1. 环境搭建 mac 防火墙 ip 主机名 映射 selinux jdk2. 安装hadoop 1. 解压缩...
2019-02-14 21:10:00
185
转载 大数据（Hive数据库、表的详解及其Hive数据导入导出）
大数据课程第七天数据库详解数据库相关 #/user/hive/warehouse/db_name.dbcreate database if not exists db_name#指定HDFS目录 作为hive的数据库目录create database if not exists db_name location '/t'#删除空数...
2019-02-13 20:44:00
428
转载 大数据（Hive的MetaStore切换及其Hive的语法细节）
大数据课程第六天MetaStore1. MetaStore在Hive中是非常重要的一个概念,通过MetaStoreHive存储HDFS与表的对应关系,MetaStore通过RDB进行数据的存储.2. MetaStore默认是通过Derby数据库,进行元数据存储的.3. 如果用Derby充当默认的MetaStore,Hive只能以一个Client进行访问Hive中MetaS...
2019-01-26 17:47:00
356
转载 大数据（MapReduce的编程细节及其Hive的安装，简单操作）
大数据课程第五天MapReduce编程细节分析MapReduce中,Reduce可以没有 (纯数据的清洗,不用Reduce) job.setNumReduceTasks(0);设置多个Reduce// 默认在MapReduce中 Reduce的数量是1 job.setNumReduceTasks(3);//为什么Reduce的数量可以设置为多个...
2019-01-26 17:43:00
141
转载 大数据（MapReduce编程，maven部署，及其ResourceManager的高可用HA）
#### 大数据课程第四天Hadoop相关的配置信息core # 基础通用配置内容 1.namenode总入口 2.临时目录hdfs # hdfs相关内容的配置 1.权限 2.副本 3. HA高可用mapred # mapreduce相关的配置yarn # yarn相关的配置#底层的配置文件,存储都是默认值,根据需要进行修改 core-default.xmlh...
2019-01-26 17:37:00
242
转载 大数据（hdfs的扩容兼容及其高可用HA）
HDFS的集群扩容,减容 [了解]热扩容,减容减容1. 创建一个新的文件 位置 名字 随便host.exclusionhadoop22. 配置 hdfs-site.xmldfs.hosts.exclude 文件的位置 （不加 file://）<property> <name>dfs.hosts.exclude</name> ...
2019-01-26 17:23:00
196
转载 大数据（hdfs集群及其集群的高级管理）
#### 大数据课程第二天伪分布式hadoop的启动停止脚本[使用]sbin/hadoop-daemon.sh start namenodesbin/hadoop-daemon.sh start datanodesbin/yarn-daemon.sh start resourcemanagersbin/yarn-daemon.sh start nodema...
2019-01-26 17:18:00
146
转载 大数据（简介及其伪分布搭建）
互联网行业技术发展大数据(BigData)什么是大数据?数据量很大的数据,量级TB级或者日均增长GB级大数据的特点 (4V)?Volume 数据量大 Variety 数据种类多 结构化数据: 半结构化数据: xml json 无结构化数据: 音频 视频 图像Velocity 快速处理 ...
2019-01-26 17:06:00
174
转载 Linux下mysql的自动定时备份
1、查看磁盘空间情况：既然是定时备份，就要选择一个空间充足的磁盘空间，避免出现因空间不足导致备份失败，数据丢失的恶果！存储到当前磁盘这是最简单，却是最不推荐的；服务器有多块硬盘，最好是把备份存放到另一块硬盘上；有条件就选择更好更安全的存储介质；# df -hFilesystem Size Used Avail Use% Mounted...
2019-01-20 16:09:00
80
转载 javaweb面试题
1.JS获取元素的几种方式①.var tag= docum.getElementById("id");//id获取②.var tag = document.getElementByTagName("标签名");//通过标签名，返回类数组③.var tag = document.getElementByTagName("属性名");//属性名获取，返回数组④.var tag...
2019-01-18 19:54:00
75
转载 java面试题之coreJava
---恢复内容开始---1.String s = new String("123456789");System.out.println(s.substring(2,6));System.out.println(s.substring(7));结果：3456（从下标2开始到下标6结束）789（单个参数为从7起始下标到结束截取）2.public class...
2019-01-18 16:44:00
144
转载 Web应用优化之nginx+tomcat集群配置+redis管理session
1.nginx的安装从官网下载一个nginx事务tar.gz版本,centos系统，安装好jdk第一步解压第二步：解压完成进入解压目录，执行./configure命令需要安装gcc编译和pcre库,zlib库yum -y install gcc yum install pcre-develyum install zlib-devel./configure完...
2019-01-17 21:58:00
106
转载 Web应用系统通常可以经过哪些层面的优化
当一个Web应用的用户量增大以至于单个节点无法承担访问压力时，我们首先需要对代码进行优化，查看代码中是否有内存泄漏，是否有资源没有关闭，是否有算法可以优化等等，另外我们需要优化数据库，是否是查询性能低，可以建立索引等。当代码层面的问题我们都处理过之后，下面就需要考虑系统架构了。我们首先要做的就是数据库与Web应用分离。数据库服务器用户提供数据库服务，而Web服务器仅仅对外提供Web...
2019-01-17 20:38:00
145
转载 ActiveMQ消息中间件（集成spring与springboot）
---恢复内容开始---spring集成ActiveMQ1.相关依赖 <dependency> <groupId>org.springframework</groupId> <artifactId>spring-jms</artifactId> ...
2019-01-17 10:05:00
86
转载 ActiveMQ消息中间件（简介安装及其javaApi）
---恢复内容开始---ActiveMQ1.jms的概念它是一种与厂商无关的API，用来访问消息收发系统消息。它类似于JDBC，JDBC是可以用来访问不同关系数据库的API，而JMS则提供同样与厂商无关的访问消息收发服务的方法,这样就可以通过消息收发服务实现从一个JMS客户机向另一个JMS客户机发送消息，所需要的是厂商支持JMS。换句话说，JMS是Java平台上有关面向...
2019-01-16 08:36:00
75
转载 初识spring Cloud续（config与zuul组件）
统一配置中心为什么需要统一配置中心?统一配置中心顾名思义,就是将配置统一管理,配置统一管理的好处是在日后大规模集群部署服务应用时相同的服务配置一致,日后再修改配置只需要统一修改全部同步,不需要一个一个服务手动维护统一配置中心的架构图:1.配置中心服务器的开发1.添加依赖 <dependency> <gro...
2019-01-10 21:30:00
79
转载 初识Spring Cloud
springcloud ~ 框架的集合练习时源码：https://github.com/lhcmmd/spring-cloud1.单体应用架构存在的问题一个归档包（例如war）包含所有功能的应用程序，通常称为单体应用。相信很多项目都是从单体应用开始的，单体应用比较容易部署和测试，项目的初期，项目可以很好的运行，然而，随着需求的不断增加，越来越多的人加入到开发团队，代...
2019-01-08 20:57:00
141
转载 shiro授权时前端js如何拿到数据库查到的权限字符串
---恢复内容开始---思路：数据库查询权限表，将权限存入session作用域，前台定义js变量获取，js分割字符串，拿到权限字符串代码后台查数据库存入sessionpackage com.baizhi.shiro;import com.baizhi.entity.Admin;import com.baizhi.entity.Authority;imp...
2019-01-07 21:34:00
420
转载 Shiro权限认证
shiro权限管理的框架1.权限管理的概念基本上涉及到用户参与的系统都要进行权限管理，权限管理属于系统安全的范畴，权限管理实现对用户访问系统的控制，按照安全规则或者安全策略控制用户可以访问而且只能访问自己被授权的资源。权限管理包括用户身份认证和授权两部分，简称**认证授权**。对于需要访问控制的资源用户首先经过身份认证，认证通过后用户具有该资源的访问权限方可访问。2.认证...
2019-01-07 21:06:00
116
转载 Lucene全文检索随笔
一，什么是全文检索全文检索是计算机程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置。当用户查询时根据建立的索引查找，类似于通过字典的检索字表查字的过程。全文检索（Full-Text Retrieval）以文本作为检索对象，找出含有指定词汇的文本。全面、准确和快速是衡量全文检索系统的关键指标。关于全文检索，我们要知道：1，只处理文...
2019-01-07 17:35:00
104
转载 Mybatis多对多查询
在shiro安全管理中，系统的后台管理员与管理员权限是多对多关系实体类设计：Admin与Authority保留对方的一个集合引用数据库中：中间表中两个外键指向两张表的主键mapper文件的映射关系及其查询语句如下：Mapper.xml<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE mapper PUBL...
2019-01-06 16:10:00
119
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人