大数据
小小搬砖农民工
只要够懒,什么都能混过去
展开
-
远程连接VirtualBox虚拟机
#安装ssh服务$ sudo apt-get install openssh-server #开启服务$ /etc/init.d/ssh start#判断是否安装ssh服务ps -e|grep ssh#关闭服务$ /etc/init.d/ssh stop#重启服务$ /etc/init.d/ssh restart配置端口转发,点击VirtualBox的设置项...原创 2020-11-15 18:36:00 · 573 阅读 · 0 评论 -
hadoop启动不了子节点的Nodemanager可以检查..
错误描述It’s highly recommended that you fix the library with 'execstack -c …问题解决方案出现上述问题主要是环境变量没设置好,在~/.bash_profile或者/etc/profile中加入以下语句就没问题了。vi /etc/profile或者vi ~/.bash_profileexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP.原创 2020-11-11 19:12:38 · 650 阅读 · 0 评论 -
Hadoop不见eth0但有eth1 or eth0 似乎不存在..解决方案
Linux 设备 eth0 似乎不存在, 初始化操作将被延迟Linux中网卡配置/etc/sysconfig/network-script/ifcfg-eth0但是不生效没看见eth0TYPE=Ethernet #网卡类型DEVICE=eth0 #网卡接口名称ONBOOT=yes #系统启动时是否激活 yes|noBOOTPROTO=static #启用地址协议 –static:静态协议 –bootp:协议 –dhcp:协议 -none:不指定协议[最好指定]IPADDR=192.168.1.原创 2020-11-10 18:53:35 · 474 阅读 · 0 评论 -
hadoop访问不到8088解决方案
修改yarn-site.xml文件,将其中的配置修改如下 <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> &原创 2020-10-31 21:54:25 · 2792 阅读 · 0 评论 -
简单建立倒排索引Python实现
# -*- coding: utf-8 -*-Str="文档"wendang=[["你好",0,"搜索引擎",2],["搜索引擎",0,"技术",4,"窥视",6],["你好",0,"搜索",2,"技术",4]]res={}for s in wendang: for j in range(0,len(s),2): if s[j] not in res: value=[] res[s[j]]=value v原创 2020-10-27 19:51:59 · 931 阅读 · 0 评论 -
条件随机场分词模型python实现
过程不累赘,用的是动态规划的方法。有空再写,直接贴代码。代码有些地方可以继续优化。如果有不合理之处,请多多指教。可供参考,禁止抄袭,转载需标明和通知作者,大家一起学习,一起进步import copyclass Model: def __init__(self,sentence): self.sentence=list(sentence) self.state=['B','M','E','S'] self.count_one=[x for x原创 2020-10-27 08:49:31 · 659 阅读 · 2 评论 -
hadoop实验02 ---修改主机名和映射关系
一、修改配置文件1.1 在linux系统可视桌面中,右键点击鼠标,提示“open in terminal”启动命令终端。如图1所示图11.2 启动命令终端,在任何目录下执行命令:cd /etc/sysconfig切换到该目录并查看目录下的文件,可以发现存在文件network。如图2所示图21.3 在/etc/sysconfig目录下找到文件network并执行命令:vim network编辑其中的内容。按i进入编辑内容,编译完成后按Esc退出编译状态,之后:wq保存并退出。如图3所示图3原创 2020-10-22 17:18:03 · 1067 阅读 · 0 评论 -
学习hadoop01-- 修改IP地址问题
ifconfig之后,没有看到eth0 ,即网卡不生效?解决方案:1. sudo dhclient eth0更新IP地址2. sudo ifconfig eth03. reboot4. 再查询即可原创 2020-10-22 16:30:14 · 859 阅读 · 0 评论 -
hadoop实验01--Linux设置静态IP地址
【实验目的】1) 熟练修改linux系统的ip地址2) 理解/etc/sysconfig/network-scripts/ifcfg-eth0文件中的内容【实验原理】Ip的地址可以通过配置网卡文件进行设置,该文件是/etc/sysconfig/ network -scripts- /ifcfg-eth0,编辑该文件中的内容即可。【实验环境】本次环境是:centos6.5工具包在/simple/soft目录下【实验步骤】一、图形化设置linux IP地址 1.1 在lin原创 2020-10-19 22:42:08 · 606 阅读 · 1 评论