SpartacusG的专栏

学习阶段请多多指教

mysql修改密码Your password does not satisfy the current policy requirements

mysql修改密码Your password does not satisfy the current policy requirements 安装 出现这个问题的原因是:密码过于简单。刚安装的mysql的密码默认强度是最高的,如果想要设置简单的密码就要修改validate_password_po...

2019-04-19 21:27:07

阅读数 10

评论数 0

Hive 外部表 新增字段或者修改字段不生效解决办法

问题现象:Hive 外部表新增字段或者修改字段类型等不生效 解决办法: 查询hive的源数据库 表SDS;修改 所有分区的CD_ID 具体操作如下。 mysql> select CD_ID from SDS where LOCATION ='hdfs://...

2018-11-26 10:15:55

阅读数 314

评论数 0

修改系统资源限制,解禁系统可用资源。

现象:spark作业启动,可以正常提交到yarn(显示还有很多资源空闲),不论给作业分配多少资源,但是作业使用资源数不变。 解决方法:调整系统资源限制。具体操作如下: 1.句柄数 文件数 线程数 echo "* hard nofile 196605" &...

2018-11-22 19:17:07

阅读数 27

评论数 0

hive -e 和hive -f 重定向数据,清除warn

问题现象: hive -f “hsql.sql” > /tmp/hsql.log hive -e “select * from tmp.table limit 10” > /tmp/hsql.log 备注:hive -f与hive ...

2018-10-26 16:37:04

阅读数 1407

评论数 0

linux系统时区问题 导致Spark Streaming 获取时间错误解决办法

问题现象: 当前服务器都设置了时间同步,date命令查看服务器的时间是对的,但是通过java获取当前系统时间,时间是晚8小时。 解决办法: 1、验证java读取本地系统时间是否正确。 vim NowString.java import java.text.SimpleDateFormat...

2018-10-23 13:39:14

阅读数 70

评论数 0

linux系统时区问题 导致Spark Streaming 获取时间错误解决办法

问题现象: 当前服务器都设置了时间同步,date命令查看服务器的时间是对的,但是通过java获取当前系统时间,时间是晚8小时。 解决办法: 1、验证java读取本地系统时间是否正确。 vim NowString.java import java.text.SimpleDateFormat...

2018-10-23 13:39:14

阅读数 133

评论数 0

重启namenode速度慢,耗时很久加载fsimage问题解决办法

如果重启namenode速度慢,耗时很久加载fsimage问题解决办法 可以需要定期执行以下命令提前合并元数据。 hdfs dfsadmin -safemode enter hdfs dfsadmin -saveNamespace hdfs dfsadmin -safemode leave (...

2018-10-17 18:24:54

阅读数 292

评论数 0

Unauthorized request to start container 问题原因

Unauthorized request to start container 问题原因 时间不同步会导致 hive不能执行mapreduce,检查服务器时间是否同步。

2018-10-17 17:57:55

阅读数 183

评论数 0

Got too many exceptions to achieve quorum 异常解决办法

Got too many exceptions to achieve quorum 异常解决办法 org.apache.hadoop.hdfs.qjournal.client.QuorumException: Got too many exceptions to achieve quorum si...

2018-10-17 17:29:53

阅读数 213

评论数 0

Type mismatch in key from map: expected org.apache.hadoop.io.Text, received org.apache.hadoop.io.Lon

这个问题是因为map的方法参数与继承mapper定义的参数类型不一致导致的, 应该将Mapper的key参数类型设置成Object,就可以解决这个问题

2015-10-28 11:42:56

阅读数 2658

评论数 0

时间不同步问题导致hive 只能select* 不能select count(*)select 某个字段 ,是因

时间不同步问题导致hive 只能select* 不能select count(*)select 某个字段 ,是因为select *不调用mr select单个字段或者count(*)调用mr 时间不同步问题导致hive 只能select* 不能select count(*)select ...

2015-07-24 18:08:20

阅读数 1887

评论数 1

关于23种设计模式的有趣见解

创建型模式  1、FACTORY—追MM少不了请吃饭了,麦当劳的鸡翅和肯德基的鸡翅都是MM爱吃的东西,虽然口味有所不同,但不管你带MM去麦当劳或肯德基,只管向服务员说“来四个鸡翅”就行了。麦当劳和肯德基就是生产鸡翅的Factory  工厂模式:客户类和工厂类分开。消费者任何时候需要某种...

2015-03-13 15:44:53

阅读数 324

评论数 0

编辑距离问题(1)

问题描述: 设A和B是2个字符串。要用最少的字符操作将字符串A转换为字符串B。这里所说的字符操作包括: 删除一个字符; (2)插入一个字符; (3)将一个字符改为另一个字符。 将字符串A变换为字符串B所用的最少字符操作数称为字符串A到B的编辑距离,记为d(A,B)。试设计一个有效算法,对任...

2014-01-03 15:13:24

阅读数 555

评论数 0

统计数字问题

 一本书的页码从自然数1 开始顺序编码直到自然数n。书的页码按照通常的习惯编排,每个页码都不含多余的前导数字0。例如,第6 页用数字6 表示,而不是06 或006 等。数字计数问题要求对给定书的总页码n,计算出书的全部页码中分别用到多少次数字0,1, 2,…,9。 给定表示书的总页码的10 ...

2014-01-03 14:54:49

阅读数 1046

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭