大数据学习
yyf960126
这个作者很懒,什么都没留下…
展开
-
windows中host的位置
记下来防止自己忘C:\Windows\System32\drivers\etc集群好久没用了,把里面的#号去掉,IP地址和机器名 eg:192.168.128.150 node150作用就是不用直接输入ip直接输入我们给他起的机器名就可以...原创 2020-02-14 15:38:22 · 2295 阅读 · 0 评论 -
hadoop接口(转)
点击打开链接hadoop系统部署时用到不少端口。有的是Web UI所使用的,有的是内部通信所使用的,有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。1.系统8080,80 用于tomcat和apache的端口。22 ssh的端口2.Web UI用于访问和监控Hadoop系统运行状态Daemon缺省端口配置参数HDFSNamen...转载 2018-05-10 10:29:00 · 1327 阅读 · 0 评论 -
hadoop之虚拟机集群架设
笔记本跑不起来,只能装centos mini版本,先创建一个干净的centos当作复制的模版 。干净的centos配置主机名hostname在安装时配置了,如果更改查看eth0网卡的地址addresscd /etc/udev/rules.d/ vi 70-persistent-net.rules更改ifcfg-eth0文件 HWADDR对应上面查到的address地址cd /etc/sy...原创 2018-04-25 23:26:35 · 144 阅读 · 0 评论 -
kafka单机重启,topic丢失问题特别弱智的错误
因为放在了独立的zookeeper中,我却启动的是kafka自带的zookeeper1.启动kafka自带zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 2.启动独立的zookeeper 切换到zookeeper-3.4.6目录下bin/zkServer.sh start conf/zoo_sample.cfg...原创 2018-05-17 14:56:04 · 3411 阅读 · 0 评论 -
贪心算法
在对问题求解时,总是做出在当前情况下,看起来是最好的选择。也就是说,并不从整体最优上进行考虑,而是某种程度上的局部最优解。适用与局部最优策略能够导致产生全局最优解的问题...原创 2018-06-07 23:45:23 · 117 阅读 · 0 评论 -
HDFS查看文件块的信息
hadoop fsck /root/a(hdfs上文件的位置) -files -blocks原创 2018-09-06 19:13:37 · 4137 阅读 · 0 评论 -
svn报错:“Previous operation has not finished; run 'cleanup' if it was interrupted“ 的解决方法
1.打开隐藏目录2.找到svn目录的。svn目录3.下载sqlite3.exe,放到。svn目录下 下载路径:https://www.sqlite.org/download.html 删除work_queue,之后就好了原创 2018-11-26 20:34:39 · 144 阅读 · 0 评论 -
整理知识点——databus的使用
Databus是LinkedIn开源的一款低延迟的分布式数据库同步系统它提供可靠的数据捕获、流转和数据处理功能。 github地址是:https://github.com/linkedin/databus核心组件: Databus的核心组件是Databus Relay。主要负责两个工作: 1、从Databus源数据库中读取变化行,并序列化为事件流保存至内存中。 2...原创 2019-07-12 17:21:53 · 2686 阅读 · 0 评论