大数据
陈君豪
在无尾熊的世界里,有尾巴的就是王
展开
-
课堂笔记-用python爬虫文档
今天课堂笔记 from urllib import requestimport reurl="http://www.kgc.cn/coding/"for i in range(1,25): #把抓取到的页面存到本机,从页面得知总共25页 fname='list-{0}-6-9-9-0.shtml'.f转载 2017-07-10 17:30:19 · 270 阅读 · 0 评论 -
hadoop namenode启动不了的原因之一
在hdfs-site.xml里有一个节点 <property> <name>dfs.namenode.name.dir</name> <value>file:///data/hdfs/1/dfs/nn</value> </property>里面的file,...原创 2019-03-06 10:16:19 · 2463 阅读 · 0 评论 -
hadoop 3 文件无法提交 9000端口无法访问的原因
网络上很多配置的core-site.xml是这么写的 <property> <name>fs.defaultFS</name> <!-- hserver1为当前机器名或者ip号 --> <value>hdfs://hserver1:9000</value> &l...原创 2019-03-08 14:26:53 · 1728 阅读 · 0 评论 -
Mysql 连接数过大或常常连接超时的排错方法
进入数据库安装的linux,进入mysqlmysql -uroot进入mysql 查看设定的最大连接数show variables like '%max_connections%';查看使用的量,实时统计show global status like 'Max_used_connections';修改最大连接数,重启后失效set GLOBAL max_connections=1...原创 2019-02-13 17:28:14 · 1069 阅读 · 0 评论 -
GraphicsMagick Wrong JPEG library version: library is 62, caller expects 90
GraphicsMagick遇到jpg版本库冲突的问题用whereis libjpeg.so.62查询,发现自己系统里安装了两种版本(62 90)的库这个时候如果GM里的shared libraries 和static libraries都开启的话.就容易出错解决办法:关闭GM的其中一个libraries:例如只用static的: ./confi原创 2017-09-10 14:33:02 · 5317 阅读 · 0 评论 -
一键配置Linux网络并安装Java, Git, Maven
#这是一个可以直接配置虚拟机, 单机网络并及安装java, Maven, Git的软件,对于中途插班大数据的学生, 一时半刻弄不明白虚拟机网络配置及软件安装方式的人特别有用.目录选项1 自动设置网络 2 自动安装软件包(包含jdk,maven,Git) 3 安装网络及软件包===============使用方法========================原创 2017-08-22 07:01:05 · 466 阅读 · 0 评论 -
用zookeeper体验监听服务器是否还活着
丛网络上及视频里学习的代码稍微改编了一下, 配合自己的情况(三台zookeeper 虚拟机) ,模拟server挂掉后客户端得到的通知情况. 步骤1. 启动三个Server的线程分别代表三台Server, 每个线程对应一台Server2. 启动客户端,可以启动许多个,也可以只启动一个3. 将一台Server 断线(在控制台用root账户执行shutdown now ),然后重新启动原创 2017-08-09 21:42:49 · 3151 阅读 · 2 评论 -
课堂笔记: 配置zookeeper(zk)并创建第一个hadoop项目
zookeeper的配置:1. 环境变量,在home目录下的 bashrc文件里加入zookeeper的环境变量在zookeeper解压缩后的目录下,进入conf目录,创建一个zoo.cfg的档案档案内容# The number of milliseconds of each t原创 2017-08-02 13:56:30 · 1310 阅读 · 0 评论 -
搭建hadoop高可用集群时的错误 ERROR namenode.NameNode: Failed to start namenode.
在执行name node格式化(hdfs namenode -format)的时候,出现了以下无法启动NameNode的错误,研究了很久,请教了本班的大神后,终于知道原因是core-site的文件配置中 tmp 的目录路径写错了17/07/19 01:32:48 ERROR namenode.NameNode: Failed to start namenode.java.lang.原创 2017-07-19 17:08:50 · 32917 阅读 · 8 评论 -
用java和二叉树B-tree实现具有<增,删,改,查,统计>功能的简易数据库(不使用数组或集合)
为了更好的理解二叉树,以二叉树建立一个数据库.不使用数组,集合等具有数据库功能的方法主要技巧是在二叉树循环体外设立一个变数temp,依照特定的键(key)遍历二叉树,当遍历到的节点的key是与寻找的key相等时,将节点的值赋予temp原创 2017-06-23 16:36:17 · 757 阅读 · 0 评论 -
hadoop重新format namenode的步骤
我的集群有三个节点master h3worker1 h4worker2 h5首先是每一台机器的zookeeper都已经启动了步骤1. 主节点 stop-all.sh2. 主节点删除所有的临时目录 log日志,包含在xml设定的还有默认的3.主节点 hdfs zkfc -formatZK4.主节点 hdfs --daemon start journalnod...原创 2019-03-08 10:09:37 · 1891 阅读 · 0 评论