- 博客(53)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 linux--manjaro简单式安装常用软件
本人使用物理机安装的，manjaro版本号是manjaro-xfce-18.1.0-stable-x86_64。以下是小白式安装软件。1、更改国内源sudo pacman-mirrors -i -c China -m ranksudo pacman -Syy 由于我使用suodo pacman -Syy报错，就使用pacman-manager。1）在线安装 2）本地安装2、IBU...
2019-11-03 08:42:54
763
原创 IDEA识别不了导入SpringBoot项目
idea导入springboot项目后，run键是灰色的，不能点击运行。1、方法是：在project structure中将对应的目录mark as为想要的类型之后，可以右键正常运行。或者右键pom.xml选择add as a maven。然后等待添加依赖、插件。2、如果pom.xml依赖配置出现红色，快捷键ALT+ENTER，更新配置3、结果...
2019-11-03 08:36:11
5810
2
原创 朴素贝叶斯分类算法——商品多分类
朴素贝叶斯的思想是这样的：如果一个事物在一些属性条件发生的情况下，事物属于A的概率>属于B的概率，则判定事物属于A大众点评、淘宝等电商上都会有大量的商品，比如：ID Title CategoryID CategoryName8986 寇老西 纯酿 苹果醋 果汁 饮料 310ml * 6 罐 7 饮料 饮品17428 福临门 金典 东北 米 ...
2019-11-02 20:28:26
3131
2
原创 hadoop的I/O操作——压缩介绍
文件压缩有两大好处：减少存储文件所需要的磁盘空间，并加速数据在网络和磁盘上的传输。对于处理大数据，这两个好处非常重要hadoop常用的压缩算法所有压缩算法都需要权衡空间/时间：压缩和解压缩速度更快，其代价通常是只能节省少量的空间。上图列出的所有压缩工具都提供9个不同的选项来控制压缩时必须考虑的权衡：选项-1为优化压缩速度，-9为优化压缩空间。例如，下面是通过最快的压缩方法创建一个名为file...
2019-11-01 15:27:43
266
原创 maven项目maven Dependencies下的jar包有的颜色变灰色了
pom.xml依赖如下上述scope配置了hamcrest-all可用的位置，test表示只能在src下的test文件夹下面才可如果在main 文件夹下使用，去掉scope 即可（去掉了默认的compile）...
2019-10-27 20:06:55
3439
2
原创 hadoop的HDFS文件系统 java接口——读写文件
java抽象类import org.apache.hadoop.fs.FileSystem 定义了hadoop中的一个文件系统接口。一、读取数据1、从Hadoop URL读取数据这个方法是通过FsURLStreamHandlerFactory实例调用java.net.URL对象的setURLStreamHandlerFactory方法。每个java虚拟机只能调用一次这个方法，因此通常在静态方...
2019-10-21 20:35:28
1912
原创 hadoop下运行mapreduce作业——找到每年最高气温
运行环境是：linux-manjaro、hadoop-2.7.1、jdk8在本地完成小规模测试，就可以把作业部署到集群上了。说明下map和reduce。mapreduce任务过程分为两个处理阶段：map阶段和reduce阶段。每个阶段都以键值作为输入和输出，其类型由程序员选择。程序员还需要写map函数和reduce函数我们使用的数据如下：1110067011990999991950051...
2019-10-18 17:13:01
683
原创 数据分析-分类算法
分类算法是典型的监督学习，其训练样本中包含样本的特征和标签信息。比如：二分类中，结果会表示正类和负类。分类算法通过对训练样本的学习，得到从样本特征到样本的标签之间的映射关系，也被称为假设函数，之后可利用该假设函数对新数据进行分类。逻辑回归模型一、问题所解决的问题，例如：1、判断一条评论是正面还是负面2、判断用户性别3、预测一个用户是否点击特定的商品二、模型1、认识sigmoid函...
2019-10-15 16:23:32
775
原创 manjaro ssh免密登录
1、登录本机，ssh localhost如果出现ssh: connect to host localhost port 22: Connection refused可能是没有开启sshd服务，开启如下systemctl start sshd.service 然后根据提示输入yes，输入用户密码。即可登录成功2、但这样登录是需要每次输入密码的，我们需要配置成SSH无密码登录比较方便。...
2019-10-10 14:45:52
1756
原创 manjaro为普通用户添加管理员权限
1、新建hadoop用户，并使用 /bin/bash 作为 shell。sudo useradd -m hadoop -s /bin/bashsudo passwd hadoop2、添加管理员权限sudo vim /etc/sudoers修改文件如下：在root ALL=(ALL) ALL 下面添加：hadoop ALL=(ALL) ALL保存退出，hadoop用户就...
2019-10-10 14:25:16
8871
1
原创 在arclinux-manjaro下配置本地jdk和hadoop
1、在http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html官网下载JDK，不过现在oracle下载jdk要注册了，不想注册的话，可以百度jdk下载别人上传的。2、默认下载在/home/用户/下载/。在终端进入该目录。cd /home/用户/下载/3、解压到/opt，opt目录...
2019-10-10 09:53:34
777
原创 manjaro启动sshd服务和安装FileZila传输文件
manjaro启动sshd服务systemctl enable sshd.service 开机启动systemctl start sshd.service 立即启动systemctl restart sshd.service 立即重启安装FileZila传输文件
2019-10-08 14:19:18
613
转载 linux--manjaro简单式安装常用软件
本人使用物理机安装的，manjaro版本号是manjaro-xfce-18.1.0-stable-x86_64。以下是小白式安装软件。1、更改国内源sudo pacman-mirrors -i -c China -m ranksudo pacman -Syy由于我使用suodo pacman -Syy报错，就使用pacman-manager。1）在线安装 2）本地安装2、IBUS输入...
2019-10-04 13:46:01
802
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人