自封的羽球大佬

士不可以不弘毅,任重而道远。

启动Hadoop时遇到的Incorrect configuration问题

问题描述: Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured(配置异常问题) 解决: 进入Hadoop...

2019-03-15 17:23:26

阅读数 18

评论数 0

Linux下网络连接不上的问题

问题表现: 1、ping命令出现name or service not known 2、ifconfig命令出现如下图示: 解决之道: /sbin/dhclient 直接运行此命令可以立即获取新的IP地址。 ...

2019-03-15 10:21:10

阅读数 63

评论数 0

也谈JOIN在MySQL和Hive中的表现

这几天参加面试,碰到了很多join题,特此总结下。 总体上,join在mysql和hive中的使用差别不大,但若细究区别还是有的。 I.首先来看看mysql: 1、笛卡儿积(cross join) 在MySQL中,当不指定on的条件时,inner join(或称join)和cross jo...

2018-09-29 00:15:58

阅读数 149

评论数 0

Hadoop杂说

也接触Hadoop好长时间了,一直想写篇关于Hadoop的博文,看来今天倒是挺不错,动动笔喽。 I.版本杂说: Hadoop现在已经有了2.0版本,那么相比1.0版本,Hadoop确实解决了一些比较棘手的问题: 1、单点故障问题。由于1.0版本的NameNode只有一个,所以一旦部署Name...

2018-09-22 21:00:22

阅读数 68

评论数 0

园林艺术 之 二叉树

这篇博文主要想分享一下我对二叉树的思考,总结的不足的地方还请大家补充。 1、二叉搜索树(BST): 二叉搜索树是二叉树里面最基础的数据结构,也可以看作是最原始的二叉树,具体概念我就不赘述了。我认为它有以下几个特点: 不可控性,它的生长方向完全取决于所给的数据,极端情况下,它可能会变成只有左子...

2018-09-12 15:44:51

阅读数 64

评论数 0

Unknown system variable 'query_cache_size' |(记几个ETL工具kettle的使用问题)

问题1:Unknown system variable 'query_cache_size' 解决过程: 对于这个问题,我一直以为是我的MySQL数据库数据驱动的问题,所以,我下载了各种版本的mysql-connector-java-5.x.x-bin.jar和mysql-connector-...

2018-09-08 23:35:01

阅读数 981

评论数 0

error: 'Can't connect to MySQL server on 'localhost' (10061)' | [Windows下碰到的几个MySQL的小坑]

没试过Windows下的MySQL,今天特地下载试试,结果跌了一跤: 略显尴尬,我抱着试一试的态度,又敲了mysql  -uroot  -p  ,结果更尴尬: 默默的猜想,到底什么问题?最后得出答案,只能是服务器问题,很显然从前面的报错也可以看出来服务器没起来,所以把问题锁定在服务器的...

2018-09-06 19:09:22

阅读数 55

评论数 0

Sublime Text 3中碰到的几个坑

1、Sublime Text 3中FileNotFoundError(2,系统找不到制定的文件,None 2),解决如下: 找到Preferences>Package Settings>SublimeREPL>Settings-U...

2018-09-03 14:34:20

阅读数 591

评论数 2

man/ja: Cannot create symlink to ‘ja_JP.UTF-8’: File exists ( FineBI在linux下安装时报错 )

 错误描述:   Unpacking JRE ... tar: man/ja: Cannot create symlink to ‘ja_JP.UTF-8’: File exists tar: Exiting with failure status due to previous error...

2018-09-01 23:33:52

阅读数 442

评论数 0

谈谈hive的order by ,sort by ,distribute by 和 cluster by

总说: 笼统地看,这四个在hive中都有排序和聚集的作用,然而,它们在执行时所启动的MR却各不相同。 细讲: order by: order by会对所给的全部数据进行全局排序,并且只会“叫醒”一个reducer干活。它就像一个糊涂蛋一样,不管来多少数据,都只启动一个reducer来处理。...

2018-08-29 22:26:28

阅读数 965

评论数 0

scrapy爬虫之SyntaxError: can't assign to literal

问题描述: 当执行scrapy crawl tutu时,报出如下错误: [root@Uu tutu]# scrapy crawl tutu Traceback (most recent call last): File "/usr/bin/scrapy&quot...

2018-08-28 22:41:07

阅读数 1169

评论数 0

关于解决Unhandled error in Deferred或提示NameError: name 'xxPipeline' is not defined

问题描述: 解决Unhandled error in Deferred或提示NameError: name 'xxPipeline' is not defined,错误描述如下: [root@Uu tutu]# scrapy crawl tutu 2018-08-26 18:18:12 [s...

2018-08-28 22:24:46

阅读数 567

评论数 0

ImportError: cannot import name xx (scrapy爬虫之xx_spider.py和xxItem.py文件中import出错的问题)

问题描述: ImportError:“ImportError: cannot import name jianshuItem” [root@Uu jianshu]# scrapy crawl jianshu Traceback (most recent call last): File ...

2018-08-28 22:05:00

阅读数 650

评论数 0

Scrapy爬虫之中文乱码问题

问题描述: I. #这是.csv格式的文件,有中文乱码现象。 [root@Uu jianshu]# cat jianshu.csv url,title,author http://www.jianshu.com/p/2a7a594816e1,彖浣犳 ...

2018-08-28 21:29:17

阅读数 2166

评论数 0

[scrapy.spidermiddlewares.httperror] INFO: Ignoring respons 403...HTTP status code is not handled..

分享一下这几天玩爬虫碰到的坑。 因为初学,所以边看书,边看别人的实例,本想照着别人的先搞出个小名堂,不料深陷403泥潭。我用的是scrapy框架,具体报错如下: [root@Uu tutorial]# scrapy crawl dmoz -o torrents.jl 2018-08-23 2...

2018-08-23 23:18:50

阅读数 1408

评论数 1

NLJ和BNLJ之JOIN底层算法

Nested Loop Join (NLJ)算法: NLJ,顾名思义,是指嵌套循环算法,my.oschina.net 上面有一段代码对NLJ做出了说明: for each row in t1 matching range { //外层循环 for each ...

2018-08-19 19:15:36

阅读数 281

评论数 0

浅谈mysql之索引

说是浅谈,其实就是东拉西扯点儿mysql优化方面的东西罢了。 下面来共同学习一下: 1 ,当select时用到like模糊查询,如like  '%name' ,mysql是不走索引的,而当使用like  'name%' ,即把‘%’放到要查询内容的后面就可以用到索引。 2 ,查询条件中要是有...

2018-08-18 19:49:13

阅读数 64

评论数 0

思考:mysql数据类型后括号中数字的含义,如int(5),char(7)

疑惑点: 疑惑1: 括号中的数字指的是字节还是字符? 疑惑2: 什么是字节,什么是字符? 解惑: 对于疑惑1:        解答:括号中的数字指的是字符。比如,num int(5)就是指字段num在显示时能显示的最小长度是5,而不是指数据长度是5。通俗的说就是,在显示时能显示的最短字符...

2018-08-17 15:44:37

阅读数 795

评论数 0

mysql字段后面的not null 到底要不要写

声明:参考自 为什么mysql字段要设置为not null?   写在开头: 经过一段时间的探索(填坑),我发现频繁使用null会导致索引,查询,代码的规范性等方面变得很糟。 我想说的是: 在MYSQL官方有一段对NULL的解释: “NULL columns require addit...

2018-08-14 22:48:17

阅读数 261

评论数 0

对hive二进制存储格式,即SequenceFile和RCFile的思考总结

1. SequenceFile是面向行,RCFile是面向列。 2. TextFile,SequenceFile,RCFile是hive常用的三种存储格式。其中,TextFile是hive默认的存储格式,SequenceFile和RCFile是二进制存储格式。 3. 相比于TextFile,S...

2018-08-12 11:19:54

阅读数 530

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭