排序:
默认
按更新时间
按访问量

Linux系统查看当前主机CPU、内存、机器型号及主板信息

Linux系统查看当前主机CPU、内存、机器型号及主板信息: 查看CPU信息(型号) # cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 查看内存信息   # cat /proc/meminfo 查看内存条数以及大小   ...

2018-09-13 15:24:08

阅读数:45

评论数:0

大数据常见面试题总结

Hadoop部分 1.Hadoop安装步骤? 1使用root账户登录 2 修改IP 3 修改host主机名 4 配置SSH免密码登录 5 关闭防火墙 6 安装JDK 6 解压hadoop安装包 7 配置hadoop的核心文件 hadoop-env.sh,core-site.xm...

2018-09-10 16:37:01

阅读数:228

评论数:0

hive中调用函数一直处于卡顿状态

    博主遇到过调用函数count等时sql一直卡顿,不调用mr,一直处于job创建的状态,后来经博主多次测试发现,该问题出现在yarn上面。job创建完成后无法调用mapreduce,挨个主机检查,nodemanager正常,但未找到resourcemanager,所以,对该集群进行yarn重...

2018-08-20 10:30:08

阅读数:55

评论数:0

HDFS分布式文件系统简介

分布式文件系统:   分布式文件系统管理的屋里存储资源不一定直接在本地节点上,而是通过计算机网络与节点相连。   分布式文件系统的基于客户机/服务器模式。通常,一个分布式文件系统提供多个供公户访问的服务器。   分布式文件系统一般都会提供备份和容错功能。   分布式文件系统一般都基于操作系统的本地...

2018-07-12 14:08:20

阅读数:72

评论数:0

使用cloudera manager进行hadoop安全认证-simple模式

    使用cloudera manger进行hadoop安全认证配置-simple模式

2018-07-11 17:32:52

阅读数:189

评论数:0

ORA-01653报错解决方法(表空间使用率过高处理)

创建oracle表时遇见以下报错:ORA-01653: unable to extend table JT_AUDIT.CFG_AUSYS_AUDIT_PROC by 128 in tablespace AUDIT_TABLESPACE从报错信息来看,应该是oracle表空间不足导致的, 首先检查...

2018-07-11 14:41:18

阅读数:126

评论数:0

oracle修改监听端口号(1521)

修改oracle监听端口1,查看当前监听状态[oracle@DSJ-RTB-4T-349 ~]$ lsnrctl status LSNRCTL for Linux: Version 11.2.0.1.0 - Production on 05-JUL-2018 14:26:26 Copyright ...

2018-07-05 14:57:27

阅读数:145

评论数:0

oracle修改字符集简介

描述:1、有的时候你前端页面和库的编码不一致,你在前端浏览页面时,就会出现乱码了2、做数据迁移时【两端库编码一致】   (1)月末帐期做报表统计时,要把生产库的一些表迁移到报表库中   (2)公司采购了新的服务器,原库的数据迁移到新服务器上   (3)开发做压力测试时,为了模拟出的压力更真实,将生...

2018-07-03 15:42:49

阅读数:60

评论数:0

oracle中DML,DDL,DCL操作简介

DML(Data Manipulation Language,数据操作语言):用于检索或者修改数据。    DML包括:         SELECT:用于检索数据;        INSERT:用于增加数据到数据库;        UPDATE:用于从数据库中修改现存的数据         DE...

2018-07-03 15:40:07

阅读数:84

评论数:0

hive执行报错解决

Error during job, obtaining debugging information... Examining task ID: task_1524216872104_86828_m_000001 (and more) from job job_1524216872104_86828...

2018-07-03 14:43:36

阅读数:80

评论数:0

cloudera manager(CM)修改默认端口号7180

因7180端口号禁止访问,所以需要修改7180端口,不管什么原因吧,反正现在需要修改该端口 修改方法一:后台数据库修改(WEB无法登陆时使用该方法)        以mysql数据库为例:登录CM安装用户mysql -uroot -p 使用库CMuse CM;查看默认端口mysql&a...

2018-06-26 14:30:36

阅读数:912

评论数:0

mysql源码安装shell脚本

#!/bin/bash ############mysql安装文档,请把mysql和cmake的压缩包放在虚拟机/tmp下############# rm -rf /etc/yum.repos.d/* #修改yum配置文件 cat <<EOF &a...

2018-06-20 15:37:51

阅读数:62

评论数:0

Spark性能调优总结

  1、Spark调优背景目前Zeppelin已经上线一段时间,Spark作为底层SQL执行引擎,需要进行整体性能调优,来提高SQL查询效率。本文主要给出调优的结论,因为涉及参数很多,故没有很细粒度调优,但整体调优方向是可以得出的。环境:服务器600+,spark 2.0.2,Hadoop 2.6...

2018-06-20 15:21:25

阅读数:246

评论数:0

HBase简介与基本原理

一,HBase简介        HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBa...

2018-06-20 14:14:37

阅读数:54

评论数:0

Cloudera-Manager修改集群主机的IP

1、业务需求说明:由于公司网络进行了整改,随之而来的就是对应的ip网段发生了变化,其中我的hadoop的集群各主机的ip也相应的发生了改变,因此需要对各主机进行修改ip。2、具体操作:  首先停止cdh各组件的服务,修改各主机的ip。修改完后,本以为完事儿了,启动Cloudera Manageme...

2018-06-20 11:17:28

阅读数:84

评论数:0

Saprk基本架构原理简介

一,简介        Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有...

2018-06-18 19:26:16

阅读数:68

评论数:0

oracle触发器简介与使用方法

一,触发器简介    触发器的定义就是说某个条件成立的时候,触发器里面所定义的语句就会被自动的执行。因此触发器不需要人为的去调用,也不能调用。然后,触发器的触发条件其实在你定义的时候就已经设定好了。二,触发器的作用             * 对数据库的操作进行审计,存储历史数据         ...

2018-06-13 17:09:19

阅读数:91

评论数:0

Python(五)——文件的读写

文件读写是常见的IO操作,Python读写文件的方法和java类似读文件open() f = open(r'C:\Users\MARS\Desktop\remain_201805_no_uploaded.txt','r')C:\Users\MARS\Desktop\remain_201805...

2018-06-12 18:26:45

阅读数:143

评论数:0

Python(四)——函数

python内置了很多函数,可以直接调用,python官方文档查看网址:http://docs.python.org/3/library/functions.html#absabs(),取绝对值,例如:abs(-100)max()可以同时接受很多个参数,并返回最大的参数值数据类型的转换int()可...

2018-06-12 16:46:55

阅读数:45

评论数:0

Python(三)——条件判断与循环,键值存储

条件判断计算机能处理很多自动化任务的原因就是可以做条件判断在python中实现输入年龄,打印不同内容a=5 if a>=18: print('your age is',a) print('成人') else: print('your age is:',...

2018-06-12 16:44:29

阅读数:51

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭