Mysql 练习题 及 答案

 --1.学生表Student(S,Sname,Sage,Ssex) --S 学生编号,Sname 学生姓名,Sage 出生年月,Ssex 学生性别--2.课程表 Course(C,Cname,T) --C --课程编号,Cname 课程名称,T 教师编号--3.教师表 Teacher(T,Tna...

2016-10-21 11:27:09

阅读数 32847

评论数 23

CentOs mysql 的安装与默认安装目录修改

准备工作 1、首先使用   rpm -qa|grep mysql  查看系统是否有自带的mysql 2、如果有的话使用 yum remove  mysql-server mysql-libs compat-mysql51  卸载掉 3、rm -rf /var/lib/mysql    r...

2016-10-14 19:29:45

阅读数 20183

评论数 0

Hadoop Mapreduce原理

Hadoop是Apache 下的一个项目,由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中,HDFS 和MapReduce 是两个最基础最重要的成员。 HDFS是Google GFS 的开源版本,一个高度容错的分布式文件系统,它能够提供高吞吐量的...

2016-10-13 17:49:18

阅读数 267

评论数 0

Hadoop性能调优

Hadoop为用户作业提供了多种可配置的参数,以允许用户根据作业特点调整这些参数值使作业运行效率达到最优。 一 应用程序编写规范 1.设置Combiner         对于一大批MapReduce程序,如果可以设置一个Combiner,那么对于提高作业性能是十分有...

2016-10-13 17:47:02

阅读数 6893

评论数 1

Hdfs 的读写操作

说明:本测试使用maven管理项目结构,测试前,请把 core-site.xml 拷贝到resource目录 package hadoop.test; import java.io.BufferedReader; import java.io.IOException; import jav...

2016-10-11 10:26:52

阅读数 2836

评论数 0

Eclipse 安装 Hadoop 插件

Eclipse 安装 Hadoop 插件1、首先下载对应版本的hadoop插件 2、进入Eclipse的目录,找到Plugins文件夹,讲刚才下载的插件拷贝进去(注意,Eclipse最好要处于关闭状态) 3、打开,Eclipse,会发现左侧多了一个DFS Location,说明已经安...

2016-09-28 19:49:02

阅读数 573

评论数 3

Hive SparkSql rank() over,dense_rank() over,row_number() over的使用与区别

一、建表语句 create table student( name string, course string, score int )ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE 二、测试...

2019-01-25 14:49:39

阅读数 61

评论数 0

HBase基本数据操作详解【完整版,绝对精品】

引言 之前详细写了一篇HBase过滤器的文章,今天把基础的表和数据相关操作补上。 本文档参考最新(截止2014年7月16日)的官方Ref Guide、Developer API编写。 所有代码均基于“hbase 0.96.2-hadoop2”版本编写,均实测通过。 欢迎转载,请注明来源: http...

2018-11-16 09:20:48

阅读数 36

评论数 0

修改Zookeeper输出日志 zookeeper.out输出路径

     使用过zookeeper的小伙伴都知道,当前终端处于哪个目录,执行完zkServer.sh start命令, zookeeper.out就会写在哪个目录,下次想看zookeeper日志的时候,又忘记上次在哪执行的命令啦,这真的很蛋疼(虽然可以每次固定在某个目录执行),在多次痛苦之后,决定...

2018-08-22 12:07:55

阅读数 7616

评论数 0

Hive DDL报错For direct MetaStore DB connections, we don’t support retries at the client level.

当在Hive中创建表的时候报错: create table test(name string, addrstring) row format delimited fields terminated by '\t'; FAILED: Execution Error, return code 1 ...

2018-08-20 11:53:18

阅读数 270

评论数 0

Hive连接Spark报错java.sql.SQLException: null, message from server: "Host 'datanode03' is blocked becaus

背景:        线上一些任务大部分使用Spark Sql来处理Hive的数据;今天任务由于数据量增大,任务耗时也增加,因此导致多个任务同时运行。但是后来任务迟迟运行不完,因此去查看任务日志; 16-08-2018 10:16:47 CST java.sql.SQLException: ...

2018-08-16 11:16:05

阅读数 391

评论数 0

Hadoop datanode隔一段时间就挂掉 报错:java.lang.OutOfMemoryError: GC overhead limit exceeded

背景:        之前数据量增加,集群开始报错10000 millis timeout while waiting for channel to be ready for write,后来发现是hdfs写数据超时,通过修改配置文件,集群正常。 https://blog.csdn.net/d...

2018-08-10 10:33:54

阅读数 515

评论数 0

hadoop集群datanode报错10000 millis timeout while waiting for channel to be ready for write

问题发生背景:         集群一切运行正常,由于需求增加,数据量也突然增大,数据量增大后,集群的datanode节点经常挂掉,而且每次挂掉都是一批一批的挂掉,每次挂掉的还不重复。 分析datanode的日志,日志如下:  java.net.SocketTimeoutException...

2018-08-09 11:48:35

阅读数 774

评论数 0

Spark 使用Phoenix往HBase插入数据报错 PhoenixOutputFormat not found

集群版本:cdh5.8 Phoenix版本:4.7.0 项目依赖管理:Maven 描述:      在工作中,需要使用Phoenix往HBase写数据,但是调试的时候出现问题 17/06/12 09:35:46 ERROR kerberos.SaveAsPhoenixApp$: sav...

2018-07-27 18:42:34

阅读数 377

评论数 0

sqoop1.4.6安装

前言:众所周知,sqoop2和sqoop1差别还是很大的,个人建议使用sqoop1。 安装前提条件: 1、jdk已经安装完成; 2、hadoop集群可以正常启动; 3、安装机器和数据库所在机器IP地址互通,且数据库端口没有被禁用。 一、下载sqoop安装包 http://archive...

2018-07-25 16:12:28

阅读数 284

评论数 0

Saprk 报错java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE

17/08/25 18:35:42 WARN scheduler.TaskSetManager: Lost task 1.1 in stage 176.0 (TID 25544, 192.168.3.20, executor 290): java.lang.IllegalArgumentExcep...

2017-08-25 22:46:48

阅读数 4155

评论数 0

Hadoop 获取Active Namenode的IP地址

       由于工作需要,需要拿到当前集群的Active Namenode的Ip地址,所以写以下小代码,防止忘记,记录一下: import java.io.IOException; import java.net.InetSocketAddress; import org.apache.ha...

2017-08-23 15:01:10

阅读数 3374

评论数 0

spark 启动sql Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

问题:启动Spark时报错 (Hive安装也有可能会出现该问题)  Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient   将hive.site.xml文件中的&amp...

2017-08-15 11:42:10

阅读数 596

评论数 0

java中判断字符串是否为数字的方法

java中判断字符串是否为数字的方法: //1.用JAVA自带的函数 public static boolean isNumeric(String str){   for (int i = 0; i < str.length(); i++){    System.out....

2017-03-07 16:05:44

阅读数 246

评论数 0

IntelliJ IDEA Maven,Eclispe Maven,sbt 创建spark Scala和Java项目

三种方式搭建spark项目 Eclipse Intellij IDEA SBT Scala

2016-11-25 19:32:35

阅读数 1844

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭