- 博客(62)
- 收藏
- 关注
RSS订阅转载 win server 2008 重启之“0x80041003”
win server 2008 R2 SP1 无故重启检查windows的应用程序日志发现问题：vent filter with query "SELECT * FROM __Instanc...
2019-06-24 16:18:45
3033
转载 Windows2008 任务映像已损坏或篡改(异常来自HRESULT:0x80041321)
win server 2008 R2 enterprinse 操作系统打开计划任务提示： 解决办法：进入到C:\Windows\System32\Tasks...
2019-05-31 16:49:35
776
转载 官网Tomcat下载方法
1、Tomcat官网地址：https://tomcat.apache.org/2、根据自己想要的版本 以7为例3、我选择7.0.54版本进行下载...
2019-05-16 10:03:44
18534
转载 Windows 任务计划隐藏显示黑窗口
Windows 任务计划隐藏显示黑窗口，主要通过.VBS文件调用.bat文件或者.exe文件，然后通过windows调度任务调度.VBS文件1、创建记事本后缀为.VBS...
2019-04-17 09:43:25
1777
转载 Shell学习【流程控制】
Shell 流程控制在Linux编程中，流程控制语句基本为 if 、for、while、until、case等条件的控制语句if控制...
2019-04-16 15:25:55
107
转载 Shell学习【test命令】
Shell test 命令test命令主要用于检查条件是否成立，可用于数字判断、字符判断、文件判断；也可以用自己常用的检查命令。test数字演示...
2019-04-10 13:33:57
136
转载 Shell学习【printf与echo】
Shell printf命令echo命令主要用于字符串的输出，可以是不要引号但不支持转义，双引号可用于转义字符，printf命令也是输出命令但是要比echo 的移植性好，制定字...
2019-04-08 16:45:42
136
转载 Shell学习【参数传递】
参数传递shell脚本运行可以通过参数传递到脚本 来作为自动输入参数#!/bin/bash#定义数组echo"Shell传递测试";echo"这是水果：$0";echo"这是水...
2019-04-04 10:13:04
84
转载 Shell学习【变量使用】
Shell 学习Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。Shell 是指一种应用程序，这个应用程序提...
2019-04-04 10:11:20
83
转载 CentOS 7镜像文件下载
CentOS 7官方下载地址：https://www.centos.org/download/ 官方网站上，CentOS 7提供了三种ISO镜像文件的下载：DV...
2018-11-23 16:16:25
1291
转载 CentOS7如何查看挂载和卸载数据盘分区的命令
-- 查看当前磁盘挂载[root@localhost ~]# df -hFilesystem Size Used Avail Use% Mounted on/dev/mapper/cl-r...
2018-11-23 15:32:07
2806
转载 解决远程服务器剪切板失效
在windows远程桌面会话下，当前机器传输文件时容易被其他机器远程服务器导致剪切板失效解决方法很简单，就是重启rdpclip.exe进程：步骤如下1.打开任务管理器...
2018-10-18 10:14:21
2305
转载 SparkSQL外部数据源
场景介绍：大数据MapReduce,Hive,Spark作业,首先需要加载数据,数据的存放源可能是HDFS、HBase、S3、OSS mongoDB;数据格式也可能为json、text、c...
2018-09-06 20:52:11
159
转载 DataFrame概述与使用
一、概述：DataFrame是一个分布式数据集,可以理解为关系型数据库一张表，由字段和字段类型、字段值按列组织，且支持四种语言，在Scala API中可以理解为： FataFram...
2018-09-03 20:39:52
1717
转载 MySQL5.7审计功能windows系统
MySQL5.7审计功能windows系统MySQL的审计功能，主要可以记录下对数据库的所有操作，包括登录、连接、对表的增删改查等，便于责任追溯，问题查找，当然一定方面也会影响数据库效率。根据...
2018-08-29 14:28:15
633
转载 zookeeper集群奇偶数节点问题
一、运行模式Zookeeper 有三种运行模式：单机模式、伪集群模式和集群模式。针对集群模式“过半存活即可用”的特性：...
2018-08-22 12:16:26
3089
转载 Flume作业 nc|exec-memory-logger
需求：Flume的Source从NetCat 和 Exec上采集数据到通过内存输出到控制台这里memory也可以是file聚合，checkp...
2018-08-10 20:25:59
191
转载 Flume作业nc-memory-logger|HDFS
需求1：从指定的网络端口上采集日志到控制台输出和HDFS负载算法故障转移：可以指定优先级，数字越大越优先...
2018-08-10 19:34:51
98
转载 Flume收集日志到本地目录
例子场景描述： 将tomcat的日志收集到指定的目录，tomcat 安装在/opt/tomcat, 日志存放在var/log/data 技术选型 exec - file - f...
2018-08-10 11:26:22
935
转载 Flume采集到HDFS
一、需求：采集指定文件的内容到HDFS技术选型：exec - memory - hdfsa1.sources=r1a1.sinks...
2018-08-09 22:30:02
171
转载 Flume初识与部署
Flume简介Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方用于收集数据，同时Flume提供对数据的简单处理，并将数据...
2018-08-09 20:00:06
80
转载 【shuffle】 VS 【map shuffle】
普通shuffle结构图：不同表由不同的map完成，shuffle把条件相等的key分发到reduce task上去执行join等于...
2018-08-01 16:00:02
127
转载 Flume采集数据时在HDFS上产生大量小文件的问题
调用agent 配置文件的：#Describe the sink 添加：a1.sinks.k1.hdfs.rollSize=0a1.sinks.k1.hdfs.rollC...
2018-07-31 21:31:33
676
转载 【Hive】matadata梳理
Hive元数据存储在MySQL库里，数据存储HDFS上;查看元数据库存放地址,查看Hive配置文件路径查看：$HIVE_HOME/conf/hive-site.xml ...
2018-07-31 16:08:48
154
转载 Hue3.9 搭建集成【HDFS】【Hive】
运行环境：CentOS 6.5hadoop-2.6.0-cdh5.7.0hadoop-2.6.0-cdh5.7.0hive-1.1.0-cd...
2018-07-30 22:09:04
259
转载 Scala基本语法学习
你好 HelloScala......objectFunctionApp{defmain(args:Array[String]):Unit={pri...
2018-07-21 19:29:00
62
转载 Table 'mysql.host' doesn't exis
环境：win server 2012MySQL：5.5 数据库之前正常使用，突然今天启动MySQL突然提示 '出现错误1067' 于是查找MySQL启动错误日志 提示Table 'mysql.host' ...
2018-06-22 16:08:18
335
转载 sqoop小作业
实现需求：1) city_info表存在MySQL2) product_info表存在MySQL3) user_click数据导入Hive4) 三表的join 取TOP3(按区域进行分组)按天分区表5) 查...
2018-06-21 15:51:17
98
转载 sqoop部署及导入与导出
1.sqoop安装 CDH之sqoop下载地址:http://archive.cloudera.com/cdh5/cdh/5一.下载及环境配置wget http://archive.cloudera.com...
2018-06-13 10:31:40
122
转载 【大数据】— sqoop ?
介绍sqoop(SQL to Hadoop),是一款开源工具,主要用于在Hadoop()与传统的RDBMS(MySQL SQLServerOracle)进行的数据传递,sqoop主要是封装了Hadoop的导入与...
2018-06-11 11:17:20
78
转载 Hive常用函数及自定义函数
前言:HQL常用函数语法和RDBMS语法相似 官网参考:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Selec...
2018-06-08 18:22:08
226
转载 DDL&DML常用的HQL
官网: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL Hive Data Definition Language(D...
2018-06-06 16:33:05
210
转载 Hive-1.1.0-cdh5.7.0安装部署
前言： 考虑到Apache组件的架包兼容性问题，生产环境统一使用CDH、HDP选择统一的cdh5.7.0尾号hadoop-2.6.0-cdh5.7.0.tar.gzh...
2018-06-03 15:42:54
244
转载 Hive（structured | semi-structured | unstructured）
结构化数据（structured）、半结构化数据(semi-structured) 非结构化数据(unstructured) 结构化数据 结构...
2018-05-31 14:23:55
726
转载 Hive架构设计及原理
Hive架构设计及原理1.什么是Hive：Hive是构建在Hadoop之上的数据仓库平台，可以结构化的数据文件映射为一张数据库表，并提供完整的SQL查询，然后将SQL语句转换为MapRuce任务进行运行，提交YARN...
2018-05-31 11:13:36
748
转载 Hadoop之Yarn架构设计(command memory cpu)
1.Hadoop上Yarn的架构设计: =MapReduce架构设计(Yarn不可分) =MapReduce上Job提交到Yarn的工作流程 =Yarn的架构设计、Yarn的工作流程...
2018-05-29 00:13:57
140
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人