大数据
小小搬砖农民工
只要够懒,什么都能混过去
展开
-
远程连接VirtualBox虚拟机
#安装ssh服务 $ sudo apt-get install openssh-server #开启服务 $ /etc/init.d/ssh start #判断是否安装ssh服务 ps -e|grep ssh #关闭服务 $ /etc/init.d/ssh stop #重启服务 $ /etc/init.d/ssh restart 配置端口转发,点击VirtualBox的设置项 ...原创 2020-11-15 18:36:00 · 556 阅读 · 0 评论 -
hadoop启动不了子节点的Nodemanager可以检查..
错误描述 It’s highly recommended that you fix the library with 'execstack -c …问题 解决方案 出现上述问题主要是环境变量没设置好,在~/.bash_profile或者/etc/profile中加入以下语句就没问题了。 vi /etc/profile或者vi ~/.bash_profile export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP.原创 2020-11-11 19:12:38 · 642 阅读 · 0 评论 -
Hadoop不见eth0但有eth1 or eth0 似乎不存在..解决方案
Linux 设备 eth0 似乎不存在, 初始化操作将被延迟 Linux中网卡配置/etc/sysconfig/network-script/ifcfg-eth0但是不生效没看见eth0 TYPE=Ethernet #网卡类型 DEVICE=eth0 #网卡接口名称 ONBOOT=yes #系统启动时是否激活 yes|no BOOTPROTO=static #启用地址协议 –static:静态协议 –bootp:协议 –dhcp:协议 -none:不指定协议[最好指定] IPADDR=192.168.1.原创 2020-11-10 18:53:35 · 446 阅读 · 0 评论 -
hadoop访问不到8088解决方案
修改yarn-site.xml文件,将其中的配置修改如下 <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> &原创 2020-10-31 21:54:25 · 2768 阅读 · 0 评论 -
简单建立倒排索引Python实现
# -*- coding: utf-8 -*- Str="文档" wendang=[["你好",0,"搜索引擎",2],["搜索引擎",0,"技术",4,"窥视",6],["你好",0,"搜索",2,"技术",4]] res={} for s in wendang: for j in range(0,len(s),2): if s[j] not in res: value=[] res[s[j]]=value v原创 2020-10-27 19:51:59 · 908 阅读 · 0 评论 -
条件随机场分词模型python实现
过程不累赘,用的是动态规划的方法。有空再写,直接贴代码。 代码有些地方可以继续优化。如果有不合理之处,请多多指教。 可供参考,禁止抄袭,转载需标明和通知作者,大家一起学习,一起进步 import copy class Model: def __init__(self,sentence): self.sentence=list(sentence) self.state=['B','M','E','S'] self.count_one=[x for x原创 2020-10-27 08:49:31 · 619 阅读 · 2 评论 -
hadoop实验02 ---修改主机名和映射关系
一、修改配置文件 1.1 在linux系统可视桌面中,右键点击鼠标,提示“open in terminal”启动命令终端。如图1所示 图1 1.2 启动命令终端,在任何目录下执行命令:cd /etc/sysconfig切换到该目录并查看目录下的文件,可以发现存在文件network。如图2所示 图2 1.3 在/etc/sysconfig目录下找到文件network并执行命令:vim network编辑其中的内容。按i进入编辑内容,编译完成后按Esc退出编译状态,之后:wq保存并退出。如图3所示 图3原创 2020-10-22 17:18:03 · 1037 阅读 · 0 评论 -
学习hadoop01-- 修改IP地址问题
ifconfig之后,没有看到eth0 ,即网卡不生效? 解决方案: 1. sudo dhclient eth0更新IP地址 2. sudo ifconfig eth0 3. reboot 4. 再查询即可原创 2020-10-22 16:30:14 · 824 阅读 · 0 评论 -
hadoop实验01--Linux设置静态IP地址
【实验目的】 1) 熟练修改linux系统的ip地址 2) 理解/etc/sysconfig/network-scripts/ifcfg-eth0文件中的内容 【实验原理】 Ip的地址可以通过配置网卡文件进行设置,该文件是/etc/sysconfig/ network -scripts- /ifcfg-eth0,编辑该文件中的内容即可。 【实验环境】 本次环境是:centos6.5 工具包在/simple/soft目录下 【实验步骤】 一、图形化设置linux IP地址 1.1 在lin原创 2020-10-19 22:42:08 · 562 阅读 · 1 评论