- 博客(13)
- 收藏
- 关注
RSS订阅原创 pip下载依赖包及安装
pip下载依赖包及安装1、下载包 #下载包到指定目录 pip download 你的包名 -d "下载的路径(windows下双引号来表示文件夹)" 例如： pip download pymysql -d "D:\pipDownloadTest"2、pip离线安装 pip install <包名> 例如： # 切换终端在待安装文件目录下（D:\pipDownloadTest） pip install PyMySQL-0.9.3-py2.py3-none-any.whl
2021-07-06 10:12:06
1593
原创 Linux环境下载包及其依赖
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-07-02 17:30:58
2090
原创 搭建Spark开发环境
搭建spark开发环境（spark-2.1.2 + jdk1.8.0_171 + hadoop-2.7.3 + scala-2.11.8）一、安装jdk（jdk1.8.0_171）1、解压 tar -zxvf 文件 -C 指定文件夹2、添加到环境变量 vim /etc/profile export JAVA_HOME=/root/home/myapp/java/jdk1.8.0_1...
2019-03-20 21:50:50
209
原创 均方根误差(RMSE)、平均绝对误差(MAE)、标准差
RMSERoot Mean Square Error,均方根误差是观测值与真值偏差的平方和与观测次数m比值的平方根。是用来衡量观测值同真值之间的偏差MAEMean Absolute Error ，平均绝对误差是绝对误差的平均值能更好地反映预测值误差的实际情况.标准差Standard Deviation ，标准差是方差的算数平方根是用来衡量一组数自身的离散程度R...
2019-03-14 11:25:11
3792
原创 zooeeper环境搭建
1.上传zk安装包2.解压3.配置（先在一台节点上配置）3.1添加一个zoo.cfg配置文件$ZOOKEEPER/confmv zoo_sample.cfg zoo.cfg3.2修改配置文件（zoo.cfg） dataDir=/home/hadoop/app/zookeeper-3.4.5/data server.1=itcast05:2888:3888 server.2=...
2019-03-13 14:52:52
218
原创 MapReduce任务的几种运行方式
mapreduce job的几种运行模式1、在eclipse中开发好mr程序（windows或linux下都可以），然后打成jar包(wc.jar)，上传到服务器，执行命令hadoop jar wc.jar cn.itheima.hadoop.MainClassRunner 这种方式会将这个job提交到yarn集群上去运行2、在Linux的eclipse中直接启动Runner类的main...
2019-03-13 14:49:30
790
原创 Hive安装
Hive只在一个节点上安装即可1.上传tar包2.解压tar -zxvf hive-0.9.0.tar.gz -C /cloud/3.配置mysql metastore（切换到root用户）配置HIVE_HOME环境变量rpm -qa | grep mysqlrpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodepsrpm -ivh MySQL-...
2019-03-13 14:03:46
134
原创 Hbase集群搭建
1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_55//告诉hbase使用外部的zkexport HBASE_MANAGE...
2019-03-13 14:02:08
139
原创 Linux安装JDK
1 上传 alt+p 后出现sftp窗口，然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz2 解压jdk #创建文件夹 mkdir /home/lfy/Myapp #解压 tar -zxvf jdk压缩包 -C /home/lfy/Myapp3 将java添加到环境变量中 vim /etc/profile ...
2019-03-13 13:57:03
404
原创 Linux常用命令
1、先查看tomcat的进程号ps -ef | grep tomcat*后面带*号，是为了查看多个tomcat，例如tomcat6，tomcat7。2、根据进程号查看端口号netstat -anop | grep 151613、配置防火墙，开启80端口、3306端口vi /etc/sysconfig/iptables -A INPUT -m state –state NEW -m...
2019-03-13 13:42:27
163
原创 HDFS命令
操作HDFS常用的命令1、创建文件夹hdfs dfs -mkdir 文件夹名2、上传文件到HDFS指定文件夹hdfs dfs -put 源文件路径 目的路径3、删除文件夹hdfs dfs -rm 文件夹路径4、查看文件列表hadoop fs -ls 文件夹路径5、查看文件内容hadoop fs -cat 文件名称...
2019-03-13 13:40:00
146
原创 hadoop2.4.1完全分布集群搭建
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译前期准备就不详细说了，课堂上都介绍了1.修改...
2019-03-13 13:33:59
342
原创 hadoop2.4.1伪分布式环境搭建
1. 1.准备Linux环境1.0 设置虚拟软件点击VMware快捷方式，右键打开文件所在位置 -&gt; 双击vmnetcfg.exe -&gt; VMnet1 host-only -&gt;修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -&gt; apply -&gt; ok回到windows --&gt; 打开网络和共享中心 -&
2019-03-10 18:39:25
158
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人