Hadoop上路_07-使用Java操作HDFS

最新推荐文章于 2024-08-15 14:09:45 发布
最新推荐文章于 2024-08-15 14:09:45 发布
阅读量89 收藏
点赞数
文章标签： 大数据 java python
原文链接：https://my.oschina.net/vigiles/blog/132282
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

   

1.HDFS操作-查：   

        1）遍历HDFS文件，基于hadoop-0.20.2：  

package cn.cvu.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class Query {

	private static FileSystem hdfs;

	public static void main(String[] args) throws Exception {
		// 1.创建配置器 
		Configuration conf = new Configuration();
		// 2.创建文件系统 
		hdfs = FileSystem.get(conf); 
		// 3.遍历HDFS上的文件和目录 
		FileStatus[] fs = hdfs.listStatus(new Path("/home")); 
		if (fs.length > 0) { 
			for (FileStatus f : fs) { 
				showDir(f);
			}
		}
	}

	private static void showDir(FileStatus fs) throws Exception {
		Path path = fs.getPath();
		System.out.println(path);
　　    // 如果是目录
		if (fs.isDir()) {
			FileStatus[] f = hdfs.listStatus(path);
			if (f.length > 0) {
				for (FileStatus file : f) {
					showDir(file);
				}
			}
		}
	}
}


        错误1：  
               类包找不到   
                 

        解决： 
              因为这是个Java Project，即使在window -> preferences -> Hadoop Map/Reduce中配置了hadoop解压目录也不能自动导入jar包。
              须要手动引入以下jar包，Build Path ，Add to Build Path： 
              hadoop-core-1.1.2.jar   
              commons-lang-2.4.jar   
              jackson-core-asl-1.8.8.jar   
              jackson-mapper-asl-1.8.8.jar   
              commons-logging-1.1.1.jar    
              commons-configuration-1.6.jar   
                 

        2）Run on Hadoop： 

                   

        错误2：  
                此时实际搜索的是Ubuntu的目录。并且层级目录中可能含有特殊字符导致URI错误。
                
                 

        解决：
                上面的代码是基于hadoop-0.20.2写的，不再适用于hadoop-1.1.2。改。  
                

        3）遍历HDFS文件，基于Hadoop-1.1.2一：   

package cn.cvu.hdfs;
//导包略  
public class Query {
	private static FileSystem hdfs;

	public static void main(String[] args) throws Exception {
		// 1.创建配置器
		Configuration conf = new Configuration();
		// 2.创建文件系统（指定为HDFS文件系统到URI）  
		hdfs = FileSystem.get(URI.create("hdfs://localhost:9000/"), conf);  
		// 3.遍历HDFS上的文件和目录 
		FileStatus[] fs = hdfs.listStatus(new Path("/home"));
		if(fs.length>0){
			for (FileStatus f : fs) {
				showDir(f);
			}
		}
	}

	private static void showDir(FileStatus fs) throws Exception {
		//递归略   
	}
}
  

        4）遍历HDFS文件，基于Hadoop-1.1.2二： 

public static void main(String[] args) throws Exception {
	// 1.创建配置器
	Configuration conf = new Configuration(); 
　　// 2.加载指定的配置文件
	conf.addResource(new Path("/home/hm/hadoop-1.1.2/conf/core-site.xml"));  
	// 3.创建文件系统
	hdfs = FileSystem.get(conf);
	// 4.遍历HDFS上的文件和目录 
	FileStatus[] fs = hdfs.listStatus(new Path("/home"));
	if (fs.length > 0) {
		for (FileStatus f : fs) {
			showDir(f);
		}
	}
}

  

        5）判断HDFS中指定名称的目录或文件：    

package cn.cvu.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class Query {
	private static FileSystem hdfs;

	public static void main(String[] args) throws Exception {
		// 1.配置器
		Configuration conf = new Configuration();
		conf.addResource(new Path("/home/hm/hadoop-1.1.2/conf/core-site.xml"));
		// 2.文件系统
		hdfs = FileSystem.get(conf);
		// 3.遍历HDFS上目前拥有的文件和目录
		FileStatus[] fs = hdfs.listStatus(new Path("/home"));
		if (fs.length > 0) {
			for (FileStatus f : fs) {
				showDir(f);
			}
		}
	}

	private static void showDir(FileStatus fs) throws Exception {
		Path path = fs.getPath();
		// 如果是目录
		if (fs.isDir()) {
			if (path.getName().equals("system")) {
				System.out.println(path + "是目录");
			}
			FileStatus[] f = hdfs.listStatus(path);
			if (f.length > 0) {
				for (FileStatus file : f) {
					showDir(file);
				}
			}
		} else {
			if (path.getName().equals("system")) {
				System.out.println(path + "是文件");
			}
		}
	}
}

        6）查看HDFS文件的最后修改时间：    

package cn.cvu.hdfs;

import java.net.URI;
import java.util.Date;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class Query2 {
	private static FileSystem hdfs;

	public static void main(String[] args) throws Exception {
		// 1.创建配置器
		Configuration conf = new Configuration();
		// 2.创建文件系统（指定为HDFS文件系统到URI）
		hdfs = FileSystem.get(URI.create("hdfs://localhost:9000/"), conf);
		// 3.列出HDFS上目前拥有的文件和目录
		FileStatus[] fs = hdfs.listStatus(new Path("/home"));
		if(fs.length>0){
			for (FileStatus f : fs) {
				showDir(f);
			}
		}
	}

	private static void showDir(FileStatus fs) throws Exception {
		Path path = fs.getPath(); 
		//获取最后修改时间
		long time = fs.getModificationTime();   
		System.out.println("HDFS文件的最后修改时间:"+new Date(time));   
		System.out.println(path);
		if (fs.isDir()) {
			FileStatus[] f = hdfs.listStatus(path);
			if(f.length>0){
				for (FileStatus file : f) {
					showDir(file);
				}
			}
		}
	}
}

 

        7）查看HDFS中指定文件的状态：    

package cn.cvu.hdfs;

import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class Query { 

	public static void main(String[] args) throws Exception {
		//1.配置器
		Configuration conf = new Configuration();
		conf.addResource(new Path("/home/hm/hadoop-1.1.2/conf/core-site.xml"));
		//2.文件系统
		FileSystem fs = FileSystem.get(conf);
		//3.已存在的文件
		Path path = new Path("/home/hm/hadoop-hm/mapred/system/jobtracker.info");
		//4.文件状态
		FileStatus status = fs.getFileStatus(path);
		//5.文件块
		BlockLocation[] blockLocations = fs.getFileBlockLocations(status, 0, status.getLen());
		int blockLen = blockLocations.length;
		System.err.println("块数量："+blockLen);
		for (int i = 0; i < blockLen; i++) {
			// 主机名
			String[] hosts = blockLocations[i].getHosts();
			for (String host : hosts) {
				System.err.println("主机："+host);
			}
		}
	}
}

  

        8）读取HDFS中txt文件的内容：    

package cn.cvu.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class Query {

	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		conf.addResource(new Path("/home/hm/hadoop-1.1.2/conf/core-site.xml"));
		FileSystem fs = FileSystem.get(conf);
		Path path = new Path("/test.txt");
		FSDataInputStream is = fs.open(path);
		FileStatus stat = fs.getFileStatus(path);
		byte[] buffer = new byte[Integer.parseInt(String.valueOf(stat.getLen()))];
		is.readFully(0, buffer);
		is.close();
		fs.close();
		System.out.println(new String(buffer));
	}
}

   

2.HDFS操作-增：  

        1）上传文件到HDFS，基于hadoop-0.20.2：   

package cn.cvu.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class TestHdfs {

	public static void main(String[] args) throws Exception {
// 1.创建配置器  
		Configuration conf = new Configuration();  
// 2.创建文件系统  
		FileSystem hdfs = FileSystem.get(conf);  
// 3.创建可供hadoop使用的文件系统路径  
Path src = new Path("/home/hm/test.txt"); //本地目录/文件  
		Path dst = new Path("/home");  //目标目录/文件 
// 4.拷贝本地文件上传（本地文件，目标路径）  
		hdfs.copyFromLocalFile(src, dst);  
		System.err.println("文件上传成功至:" + conf.get("fs.default.name"));  
		// 5.列出HDFS上的文件  
		FileStatus[] fs = hdfs.listStatus(dst);  
		for (FileStatus f : fs) {   
			System.err.println(f.getPath());  
		}  
	}  
}


        错误： 
                目标路径的操作权限不够，因为这实际是Ubuntu的/home目录！ 

Exception in thread "main" java.io.FileNotFoundException: /home/test.txt (Permission denied 权限不够)
at java.io.FileOutputStream.open(Native Method)
at java.io.FileOutputStream.<init>(FileOutputStream.java:212)
at org.apache.hadoop.fs.RawLocalFileSystem$LocalFSFileOutputStream.<init>(RawLocalFileSystem.java:188)
at org.apache.hadoop.fs.RawLocalFileSystem$LocalFSFileOutputStream.<init>(RawLocalFileSystem.java:184)
at org.apache.hadoop.fs.RawLocalFileSystem.create(RawLocalFileSystem.java:255)
at org.apache.hadoop.fs.RawLocalFileSystem.create(RawLocalFileSystem.java:236)
at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSOutputSummer.<init>(ChecksumFileSystem.java:335)
at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:381)
at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:364)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:555)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:536)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:443)
at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:229)
at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:163)
at org.apache.hadoop.fs.LocalFileSystem.copyFromLocalFile(LocalFileSystem.java:67)
at org.apache.hadoop.fs.FileSystem.copyFromLocalFile(FileSystem.java:1143)          

        解决： 
                上传到有权限的目录（囧）    


        结果：
                实际是上传到了Ubuntu的/home/hm/hadoop-hm目录中！  

   

        2）上传文件到HDFS，基于hadoop-1.1.2一：  

package cn.cvu.hdfs;

import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class TestHdfs1 {
	private static FileSystem hdfs;

	public static void main(String[] args) throws Exception {
		//1.创建配置器
		Configuration conf = new Configuration();
		//2.初始化文件系统（指定为HDFS文件系统URI，配置）
		hdfs = FileSystem.get(URI.create("hdfs://localhost:9000/"), conf);
		//3.创建本地目录/文件路径
		Path src = new Path("/home/hm/test.txt");
		//4.创建HDFS目录（指定为HDFS文件系统）
		Path dst = new Path("hdfs://localhost:9000//home/hm/hadoop-hm");
		//5.执行上传
		hdfs.copyFromLocalFile(src, dst);
		System.out.println("文件上传成功至:" + conf.get("fs.default.name"));
		//6.遍历HDFS目录
		FileStatus[] list = hdfs.listStatus(dst);
		for (FileStatus f : list) {
			showDir(f);
		}
	}

	private static void showDir(FileStatus f) throws Exception {
		if (f.isDir()) {
			System.err.println("目录:" + f.getPath());
			FileStatus[] listStatus = hdfs.listStatus(f.getPath());
			for (FileStatus fn : listStatus) {
				showDir(fn);
			}
		} else {
			System.out.println("文件:" + f.getPath());
		}
	}
}

   

        3）上传文件到HDFS，基于hadoop-1.1.2二： 

package cn.cvu.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class TestHdfs2 {
	private static FileSystem hdfs;

	public static void main(String[] args) throws Exception {
		//1. 创建配置器
		Configuration conf = new Configuration();
		//2. 手动加载配置
		conf.addResource(new Path("/home/hm/hadoop-1.1.2/conf/core-site.xml"));
		//3. 创建文件系统
		hdfs = FileSystem.get(conf);
		//4. 本地文件
		Path src = new Path("/home/hm/test.txt");
		//5. 目标路径 
		Path dst = new Path("/home");
		//6. 上传文件
		if(!hdfs.exists(new Path("/home/test.txt"))){
			hdfs.copyFromLocalFile(src, dst);
			System.err.println("文件上传成功至: " + conf.get("fs.default.name"));
		}else{
			System.err.println(conf.get("fs.default.name") + " 中已经存在 test.txt");
		}
		//7. 遍历HDFS文件
		System.out.println("\nHDFS文件系统中存在的目录和文件：");
		FileStatus[] fs = hdfs.listStatus(dst);
		for (FileStatus f : fs) {
			showDir(f);
		}
	}
	private static void showDir(FileStatus f) throws Exception{
		if(f.isDir()){
			System.err.println("目录:" + f.getPath());
			FileStatus[] listStatus = hdfs.listStatus(f.getPath());
			for(FileStatus fn : listStatus){
				showDir(fn);
			}
		}else{
			System.err.println("文件:" + f.getPath());
		}
	}
}

   

  

  

        4）在HDFS中创建目录和文件：   

package cn.cvu.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class TestHdfs2 {

	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		conf.addResource(new Path("/home/hm/hadoop-1.1.2/conf/core-site.xml"));
		FileSystem hdfs = FileSystem.get(conf);
		// 使用HDFS数据输出流（写）对象 在HDSF上根目录创建一个文件夹，其内再创建文件
		FSDataOutputStream out = hdfs.create(new Path("/eminem/hip-hop.txt"));
		// 在文件中写入一行数据，必须使用UTF-8
		//out.writeUTF("Hell使用UTF-8");	//不能用？
		out.write("痞子阿姆，Hello !".getBytes("UTF-8"));
		out = hdfs.create(new Path("/alizee.txt"));
		out.write("艾莉婕，Hello !".getBytes("UTF-8"));
		out.close();
		FileStatus[] fs = hdfs.listStatus(new Path("/"));
		for (FileStatus f : fs) {
			System.out.println(f.getPath());
		}
	}
}

 

3.HDFS操作-改：   

        1）重命名文件：  

public static void main(String[] args) throws Exception {
	Configuration conf = new Configuration();
	conf.addResource(new Path("/home/hm/hadoop-1.1.2/conf/core-site.xml"));
	FileSystem fs = FileSystem.get(conf);
	//重命名：fs.rename(源文件，新文件)
	boolean rename = fs.rename(new Path("/test.txt"), new Path("/new_test.txt"));
	System.out.println(rename);
}

        2）删除文件：  

public static void main(String[] args) throws Exception {
	Configuration conf = new Configuration();
	conf.addResource(new Path("/home/hm/hadoop-1.1.2/conf/core-site.xml"));
	FileSystem fs = FileSystem.get(conf);
	//删除
	//fs.delete(new Path("/new_test.txt"));	//已过时
	//程序结束时执行
	boolean exit = fs.deleteOnExit(new Path("/new_test.txt"));
	System.out.println("删除执行："+exit);
	//判断删除（路径，true。false=非空时不删除，抛RemoteException、IOException异常）
	boolean delete = fs.delete(new Path("/test.txt"), true);
	System.out.println("执行删除："+delete);
}

- end

转载于:https://my.oschina.net/vigiles/blog/132282

weixin_33851177
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop配置文件加载
chanyue123的博客
09-16 2208
1. hadoop使用org.apache.hadoop.conf.Configuration类来加载配置文件 2. 在使用Configuration conf = new Configuration()来创建conf对象时默认加载了哪些配置项呢？ 看Configuration类的源码可以看到，默认是加载了core-default.xml和core-site.xml配置文件的，注意配置文件路径需要在CLASSPATH中（即classpath中指定了目录路径下有上面文件才可以加载到），源码如下： pub
利用 Hadoop FileSystem listStatus 遍历文件目录 实现HDFS操作
weixin_30270561的博客
03-20 515
package com.chd.demo;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class ShowPathUtils{ public void ShowPath(FileSystem hdfs,...
Hadoop遍历目录
kookbook的专栏
12-29 1302
package org.harvest.frank; import static org.hamcrest.CoreMatchers.is; import static org.junit.Assert.*; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStrea
hadoop之HDFS：通过Java API访问HDFS
尘埃zza的博客
09-30 2139
HDFS是一个分布式文件系统，可以通过Java API接口对HDFS进行操作，下面记录实现Java API的过程和出现的一些问题及解决方案环境搭建导入jar包#common包中的jar文件导入 hadoop-2.8.1\share\hadoop\common\lib\*.jar hadoop-2.8.1\share\hadoop\common\hadoop-common-2.8.1.jar#客户端需
hadoop复制文件java_hadoop – 将大文件复制到HDFS中
weixin_29671137的博客
02-27 618
我正在尝试将大文件(32 GB)复制到HDFS中.我从未在HDFS中复制文件时遇到任何麻烦,但这些都比较小.我正在使用hadoop fs -put< myfile> < myhdfsfile>并且高达13,7 GB一切顺利,但后来我得到了这个例外：hadoop fs -put * /data/unprocessed/Exception in thread "main" or...
Hadoop上路_06-在Ubuntu中使用eclipse操作HDFS
小飞侠的博客
02-16 1035
目录[-] 1.解压eclipse： 2.安装hadoop开发插件：  3.执行快捷方式：  4.配置Hadoop视图：         1）window -> preferences -> Hadoop Map/Reduce，                       2）打开Hadoop视图，               3）新建Hadoop Location连接，  
Hadoop上路_09-在Win7中操作Ubuntu的HDFS
小飞侠的博客
02-16 122
目录[-] 1.查询： 1）方式一-指定HDFS的URI： 2）方式二-指定HDFS的配置文件： 3）判断HDFS中指定名称的目录或文件： 4）查看HDFS文件的最后修改时间： 5）查看HDFS中指定文件的状态： 6）读取HDFS中txt文件的内容： 2.上传： 1）从Win7上传文...
Hadoop上路_14-Hadoop2.3.0的分布式集群搭建
小飞侠的博客
02-16 862
目录[-] 一。配置虚拟机软件 1.虚拟机软件设定 1）进入全集设定 2）常规设定 2.Linux安装配置 1）名称类型 2）内存 3）磁盘选择 4）磁盘文件 5）磁盘空间 6）磁盘位置 7）数据传输 8）软驱 9）Linux镜像 10）网络 二。安装模板Linux 1.一般安装过程 2.初始化用户 三。配置Linux 1.在桌面显示终端 2.在桌
hdfs_design.rar_HDFS-OPERATE_hadoop_hadoop java_hdfs
09-23
《HDFS设计与操作——基于Hadoop的Java实践》 Hadoop分布式文件系统（HDFS）是Apache Hadoop项目的核心组件之一，它为大规模数据处理提供了可扩展、高容错性的存储解决方案。本资料集围绕“hdfs_design.rar”这个...
HDFS.zip_Hadoop 平台_hadoop_hdfs
09-21
除了命令行工具，还可以通过Hadoop的Java API在程序中操作HDFS。例如，`FileSystem`类提供了与HDFS交互的方法，如打开文件、写入数据、读取文件等。以下是一个简单的示例： ```java import org.apache.hadoop.conf....
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.zip
09-22
这个压缩包 "sqoop-1.4.6.bin__hadoop-2.0.4-alpha.zip" 包含的是Sqoop 1.4.6版本，针对Hadoop 2.0.4-alpha版本优化的二进制发行版。 **Sqoop 的核心功能：** 1. **数据导入**：Sqoop 提供了命令行接口，可以将结构...
hdfs.rar_hadoop_hadoop ubuntu_hdfs_分布式系统_基于hadoop
09-14
标题中的"hdfs.rar_hadoop_hadoop ubuntu_hdfs_分布式系统_基于hadoop"表明这个压缩包包含了与在Ubuntu操作系统上安装和使用Hadoop和HDFS相关的资料。Ubuntu是一个广泛使用的Linux发行版，适合部署大型分布式系统如...
hadoop_test.rar_API_client_hadoop test 作用_hadoop test_hadoop-te
09-23
在测试过程中，`hadoop-test`通常会模拟各种情况，如网络故障、硬件故障等，来检验HDFS的容错性和恢复能力。这有助于开发者理解Hadoop在面对现实世界问题时的行为，从而更好地设计和优化应用程序。 在学习和使用`...
ElasticSearch文档数据关联关系处理
最新发布
qq_44027353的博客
08-15 534
再更新操作时，对象类型和嵌套对象nested方式有一个问题，因为根对象和嵌套对象本质上它们还是存在一个文档中的，每次更新时就可以需要重新索引整个文档。ES提供了父子关联关系，通过维护parent/child的关系，分离它们，使父文档和子文档是两个独立的文档，更新其中一个文档不会影响另一个文档。创建子文档时，必须通过routing指定父文档id，保证父子文档在一个shard中，提高join查询性能。user字段如果保存的是一个对象数组，在搜索时添加两个查询条件，数组中两个对象分别满足一个条件。
CentOS7.6 RabbitMQ消息队列集群部署——实施方案
weixin_71602103的博客
08-13 1208
​​​​​​阿里巴巴开源镜像站-OPSX镜像站-阿里云开发者社区 (aliyun.com)2.将一个RabbitMQ2节点加入到已经存在的RabbitMQ1集群中。6.将一个RabbitMQ3节点加入到已经存在的RabbitMQ1集群中。8. 将RabbitMQ3节点加入到已存在的集群中。4. 将RabbitMQ2节点加入到已存在的集群中。2、3 独立运行节点，warning提示不用理会。地址为rabbitMQ所在服务器的地址。3. 启动RabbitMQ应用程序。案例：配置阿里云的yum源。
软考高级第四版备考---第39天（数据管理）
u013136284的专栏
08-12 924
5.2数据安全管理：数据安全管理是在数据安全标准与策略的指导下，通过对数据访问的授权、分类分级的控制、监控数据的访问等进行数据安全的管理工作，满足数据安全的业务需要和监管需求，实现组织内部对数据生存周期的数据安全管理。6.4数据质量提升：数据质量提升是对数据质量分析的结果，制定、实施数据质量改进方案，包括错误数据更正、业务流程优化、应用系统问题修复等，并制定数据质量问题的预防方案，确保数据质量改进的成果得到有效保持。
Spark MLlib 特征工程(上)
08-14 1691
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
谷粒商城实战笔记-175~177-商城业务-检索服务-检索查询接口开发
epitomizelu的专栏
08-13 742
搜索页面搭建完成之后，点击搜索按钮，发送参数给后台服务，后台服务根据参数从Elasticsearch中查询符合条件的数据，返回给前端。
Java API操作HDFS：环境配置与基本操作示例
以下是使用Java API进行HDFS操作的关键知识点： 1. **环境准备** - **Windows平台配置**：首先，需要在Windows上安装和配置Hadoop，确保选择的是Windows版本的Hadoop，因为原生的Hadoop库可能不支持在非Unix系统上...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值