大数据
文章平均质量分 89
大数据学习笔记
2018年12月11日16:43:06
百世修行
aaa
展开
-
如何设置云服务器ecs指定IP可以访问避免风险攻击
ecs指定IP可以访问避免风险攻击只允许特定IP远程登录ECS填写0.0.0.0/0配置规则只允许特定IP远程登录ECS如果您为VPC中的ECS实例配置了公网IP,如NAT网关、EIP等。您可以根据具体情况,添加如下安全组规则允许Windows远程登录或Linux SSH登录。填写0.0.0.0/0这样的ip什么意思;ip地址后边的斜杠如何理解,斜杠后边的数字是什么意思?斜杠后的 0 表示的是 子网掩码的连续1的位数;1数字具体代表32位子网掩码(二进制形式)中前面的“1”的个数。ip原创 2021-02-17 10:28:50 · 2008 阅读 · 0 评论 -
服务器如何部署经典小游戏
部署经典小游戏Serverless创建绑定SLB(可选,不影响任务完成)停止ServerlessServerless 应用引擎 SAEServerless 应用引擎 SAE(Serverless App Engine)是面向应用的 Serverless PaaS 平台,能够帮助 PaaS 层用户免运维 IaaS、按需使用、按量计费,做到低门槛微服务应用上云。相对于其他 Serverless 产品,它抽象了应用的概念,并提供了一整套微服务解决方案,支持 Spring Cloud、Dubbo、HSF 等主原创 2021-01-31 09:43:00 · 1136 阅读 · 0 评论 -
ECS云服务器基础信息
场景体验目标本场景会自动创建一台ECS实例。首先,远程登陆ECS实例,并部署应用。然后,登陆管理控制台,并对这台ECS实例进行管理操作。体验此场景后完,你可以掌握的能力有:1. ECS的基本概念2. 远程访问ECS实例,部署应用。3. 使用管理控制台对ECS进行基本操作:重置ECS实例登陆密码并重启ECS实例。背景知识云服务器(Elastic Compute Service, 简称ECS),是一种简单高效,处理能力可以弹性伸缩的计算服务。ECS的相关术语说明如下:实例(Insta原创 2021-01-23 10:20:58 · 766 阅读 · 0 评论 -
数据中台在真实案例中的应用原理
数据中台数据中台解决什么功能快捷键数据中台能力数据中台构成数据中台不是产品,不是东西。数据处理的总和业务平台,对接企业需求的前后端。对海量数据进行采集、计算、存储、加工,同时统一标准和口径。解决什么我:效率问题:需求增加的时间节省;试试可以获取最新数据;动态监控数据的异常变化,避免错误和资源损耗;协作问题:数据的统一标准,提高与业务或者前端的对接效率,避免重复开发;...原创 2019-10-22 15:03:48 · 2611 阅读 · 0 评论 -
数据的管理在企业应用中的价值
**企业如何管理数据个人如何进行数据分析数据安全如何保障**企业如何管理数据在如今这大数据的时代,任何行业都在无时无刻的产生着巨大的数据,如果不重视,那只会成为冗余,如果稍加整理,和科学分析,数据背后可能隐藏的价值就跃然而出了,往往会有意想不到的巨大收获。教育行业数据管理所有业务过程中的对象,都是一种数据,只是根据业务需求和知识范围的不同,管理的数据点各有不同,形成的业务...原创 2019-10-18 19:21:01 · 543 阅读 · 0 评论 -
企业级分布式大数据解决
– 分布式关系型数据库服务DRDS挂在管理多个云数据库RDS for MySQL。– 可线性提升数据库存储容量及鬓发吞吐。为企业级客户提供弹性、稳定、高效的企业级分布式关系型数据库解决;分布式关系型数据库服务 DRDS 架构总览DRDS 架构综述DRDS 通过分库分表管理多个 RDS for MySQL ,可线性提升数据存储容量及并发吞吐,有效解决单机数据库的扩展性难题。DRDS 提...原创 2019-10-16 16:12:52 · 354 阅读 · 0 评论 -
MapReduce处理两个文件合并重新显示
文件011 Beijing2 Guangzhou3 Shenzhen4 xi’an文件02factoryname addressIdBeiJing Red Star 1ShenZhen Thunder 3Guangzhou Honda 2Beijing Rising 1Guangzhou Development Bank 2Tencent 3Bank of ...原创 2018-12-28 16:15:37 · 4047 阅读 · 2 评论 -
hdfs dfs -appendToFile error 问题解决
hadoop 集群搭建好了使用命令 把本地的 文件内容追加到 hdfs 服务器上的 指定文件追加 本地文件的内容 到hdfs 上的文件末尾[root@hadoop-1 practice01]# hdfs dfs -appendToFile .p1 /README.txt报错一[root@hadoop-1 hadoop]# hdfs dfs -appendToFile hdf...原创 2018-12-07 17:18:43 · 9198 阅读 · 2 评论 -
HDFS常用api操作03
上传下载hdfs文件递归删除hdfs指定文件夹目录package com.cc.api1.hdfsapi;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import...原创 2018-12-11 17:15:28 · 223 阅读 · 0 评论 -
HDFS常用api操作02
1. 在HDFS上创建文件,并写入内容2. 在HDFS上的文件进行追加内容3. 删除指定HDFS路径下文件及文件夹4. hdfs删除指定文件夹package com.cc.api1.hdfsapi;import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;import java.n...原创 2018-12-11 16:32:45 · 263 阅读 · 0 评论 -
HDFS常用api操作01
hdfs服务器正常启动服务器文件上传下载命令正常eclipse 创建maven有关 hadoop配置成功代码如下package com.cc.api1.hdfsapi;import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;import java.net.URISyntaxE...原创 2018-12-11 11:22:53 · 233 阅读 · 0 评论 -
HDFS开启UBER模式
2. uber模式(节省资源)2.1 、配置uber模式 :如果每次运行时间很短,但是运行次数很多,会重复的开启和销毁JVM,开启Uber可以复用JVM,避免频繁的开关JVM的资源浪费。将配置文件追加到 hadoop配置文件 mapred-site.xml 后边通过下边命令可以快速配置给其他机器; 三台机器都要配置 [root@hadoop-1 hadoop]# scp mapr...原创 2018-12-13 08:15:53 · 1981 阅读 · 0 评论 -
HDFS配置聚合日志
聚合日志3.聚合日志(查看日志)浏览器查看运行情况历史记录,无法正常查看;配置聚合日志后可以浏览器查看历史记录;3.1 配置到 yarn-site.xml文件中 <property> <!--开启聚合日志--> <name>yarn.log-aggregation-enable</name> <value>true...原创 2018-12-13 08:17:59 · 681 阅读 · 0 评论 -
HDFS环境配置 - 顺序
HDFS环境配置HDFS环境配置 - 顺序01.创建虚拟机安装系统02.配置虚拟机IP03.设置主机名、hosts名04.拷贝jdk、hadoop-jdk05.解压jdk和hadoop06.配置java jdk 、测试07.配置hadoop jdk 、 测试08.开机关闭防火墙,开机启动sshd服务09.配置hadoop 参数文件10.重启系统并克隆 2、3机器11.设置...原创 2018-12-13 08:19:03 · 344 阅读 · 0 评论 -
shell 流程控制 02
shell 流程控制#————注意: -gt 大于 -ge 大于等于 -lt 小于 是less than -le 小于等于 是less than or equal to 对比数字使用既能使用-eq、-ne、-gt、-ge、-lt、-le,也能使用==、<、>、!=。其中-eq的意思是equal,-ne是unequal,-gt是greater than,-g...原创 2018-12-13 16:42:56 · 259 阅读 · 0 评论 -
shell脚本学习笔记01
shell脚本1、shell定义Shell Script [1] ,Shell脚本与Windows/Dos下的批处理相似,也就是用各类命令预先放入到一个文件中,方便一次性执行的一个程序文件,主要是方便管理员进行设置或者管理用的。但是它比Windows下的批处理更强大,比用其他编程程序编辑的程序效率更高,它使用了Linux/Unix下的命令。2、Linux的发展回顾2.1 简介2.2 ...原创 2018-12-13 11:31:18 · 375 阅读 · 0 评论 -
大数据基础 -VMware CentOS 配置网络
连接 本地主机 和 虚拟中的 linux操作系统相互ping通1.2.3. 虚拟机 网络配置3.1 设置虚拟机网络共享3.2 虚拟机ip查看3.3 确定 NAT 连接3.4 Centos 网络ip设置1)编辑VMware centos 网络参照 3.2 192.168.137.1 设置 ip命令操作刷新配置; 终端进行操作修...原创 2018-12-04 15:05:06 · 282 阅读 · 1 评论