数据清洗与分析脚本部署

最新推荐文章于 2023-12-21 15:32:00 发布
最新推荐文章于 2023-12-21 15:32:00 发布
阅读量322 收藏
点赞数 1
文章标签： shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/su_mingyang/article/details/118071560
版权
组件名称版本
centos7
hadoop2.6.0
java8
mysql5.7.25
hive1.1.0
sqoop1.4.7
spark2.0.0
#!/bin/bash
# Linux基础环境(数据清洗与分析环境,root用户)
echo -e "==========当前环境使用root用户配置=========="
username=`whoami`
if [ ${username} == "root" ];then
	echo -e "==========当前使用${username}用户=========="
else
	exit 1
fi
IP="192.168.222.110"
rm -rf /tmp/*
echo -e "==========虚拟机ip地址:${IP}==========\n"
HOSTNAME="master"
echo -e "==========虚拟机主机名:${HOSTNAME}==========\n"
software_path="/opt/software"
echo -e "==========安装包位置路径(tar):${software_path}==========\n"
java_name="jdk-8u201-linux-x64.tar.gz"
echo -e "==========java安装包名称:${java_name}==========\n"
hadoop_name="hadoop-2.6.0.tar.gz"
echo -e "==========hadoop安装包名称:${hadoop_name}==========\n"
mysql_name="mysql-5.7.25-linux-glibc2.12-x86_64.tar.gz"
echo -e "==========mysql安装包名称:${mysql_name}==========\n"
mysql_connect_name="mysql-connector-java-5.1.47.tar.gz"
echo -e "==========mysql-connect安装包名称:${mysql_connect_name}==========\n"
hive_name="apache-hive-1.1.0-bin.tar.gz"
echo -e "==========hive安装包名称:${hive_name}==========\n"
sqoop_name="sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz"
echo -e "==========sqoop安装包名称:${sqoop_name}==========\n"
spark_name="spark-2.0.0-bin-hadoop2.6.tgz"
echo -e "==========spark安装包名称:${spark_name}==========\n"
install_path="/root"
echo -e "===============安装的文件路径:${install_path}=========="

echo -e "==========临时设置SELinux状态为:Permission==========\n"
setenforce 0
selinux_status=`getenforce`
echo -e "==========当前SELinux状态为:${selinux_status}==========\n"
echo -e "==========永久关闭SElinux==========\n"
echo "SELINUX=disabled" > /etc/selinux/config
echo "SELINUXTYPE=targeted" >> /etc/selinux/config
echo -e "==========正在关闭防火墙===========\n" 
systemctl stop firewalld
echo -e "==========正在设置防火墙开机不自启==========\n" 
systemctl disable firewalld
echo -e "==========查看防火墙状态==========\n" 
systemctl status firewalld
echo -e "==========正在修改主机名==========\n" 
hostnamectl set-hostname ${HOSTNAME}
hostname=`hostname`
echo -e "==========查看当前主机名:${hostname}==========\n"
echo -e "==========配置hosts文件==========\n"
isNull=`grep "${IP} ${HOSTNAME}" /etc/hosts`
if [ -z ${isNull} ];then
	echo "${IP} ${HOSTNAME}" >> /etc/hosts	
fi
echo -e "==========测试${HOSTNAME}==========\n"
ping -c 5 ${HOSTNAME}
if [ $? -eq 0 ];then
	echo -e "==========配置${HOSTNAME}的/hosts解析成功==========\n"
else
	echo -e "==========配置${HOSTNAME}的/hosts解析失败==========\n"
fi
echo -e "==========生成SSH密钥文件==========\n"
rm -rf /${username}/.ssh
ssh-keygen -t rsa -P ''
echo -e "==========配置master公钥信息==========\n"
ssh-copy-id -i master
echo -e "==========测试master免密钥==========\n"
ssh master << eeooff
echo -e "==========SSH配置成功=============\n"
exit
eeooff
echo -e "==========开始安装java==========\n"
rm -rf ${install_path}/java
mkdir ${install_path}/java && tar -xzf ${software_path}/${java_name} -C ${install_path}/java  --strip-components 1
# 配置环境变量
echo "export JAVA_HOME=${install_path}/java" >> /etc/profile
echo "export PATH=\$PATH:\$JAVA_HOME/bin" >> /etc/profile
source /etc/profile
echo -e "===========查看java版本==========\n"
java -version
echo -e "===========开始安装hadoop===========\n"
rm -rf ${install_path}/hadoop
mkdir ${install_path}/hadoop && tar -xzf ${software_path}/${hadoop_name} -C ${install_path}/hadoop   --strip-components 1
echo "export HADOOP_HOME=${install_path}/hadoop" >> /etc/profile
echo "export PATH=\$PATH:\$HADOOP_HOME/sbin:\$HADOOP_HOME/bin" >> /etc/profile
source /etc/profile
echo -e "===========查看hadoop版本==========\n"
hadoop version
cat > ${install_path}/hadoop/etc/hadoop/core-site.xml  << coreEOF
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<!--namenode的URL地址-->
		<name>fs.defaultFS</name>
		<value>hdfs://${HOSTNAME}:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>${install_path}/hadoop/data/tmp</value>
	</property>

	<property>
		<!--SequenceFiles中使用的读/写缓冲区的大小，单位为KB,131072KB默认为64M-->
		<name>io.file.buffer.size</name>
		<value>131072</value>
	</property>
</configuration>
coreEOF
cat > ${install_path}/hadoop/etc/hadoop/hdfs-site.xml << hdfsEOF
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<!--hadoop的副本数量，默认为3-->
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<!--在本地文件系统所在的NameNode的存储空间和持续化处理日志-->
		<name>dfs.namenode.name.dir</name>
		<value>${install_path}/hadoop/dfs/data</value>
		</property>
	<property>
		<!--设置hdfs文件块大小，该处设置为256M-->
		<name>dfs.blocksize</name>
		<value>268435456</value>
	</property>
	<property>
		<!--设置namenode的线程数量，处理datanode发出的rpc请求-->
		<name>dfs.namenode.handler.count</name>
		<value>100</value>
	</property>
</configuration>
hdfsEOF
cat >  ${install_path}/hadoop/etc/hadoop/yarn-site.xml << yarnEOF
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>
yarnEOF
cat > ${install_path}/hadoop/etc/hadoop/mapred-site.xml << mapredEOF
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>
mapredEOF
cat > ${install_path}/hadoop/etc/hadoop/hadoop-env.sh << hadoopenv
export 	JAVA_HOME=/root/java
export HADOOP_CONF_DIR=\${HADOOP_CONF_DIR:-"/etc/hadoop"}
for f in \$HADOOP_HOME/contrib/capacity-scheduler/*.jar; do
  if [ "\$HADOOP_CLASSPATH" ]; then
    export HADOOP_CLASSPATH=\$HADOOP_CLASSPATH:\$f
  else
    export HADOOP_CLASSPATH=\$f
  fi
done
export HADOOP_OPTS="\$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
export HADOOP_NAMENODE_OPTS="-Dhadoop.security.logger=\${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=\${HDFS_AUDIT_LOGGER:-INFO,NullAppender} \$HADOOP_NAMENODE_OPTS"
export HADOOP_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS \$HADOOP_DATANODE_OPTS"
export HADOOP_SECONDARYNAMENODE_OPTS="-Dhadoop.security.logger=\${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=\${HDFS_AUDIT_LOGGER:-INFO,NullAppender} \$HADOOP_SECONDARYNAMENODE_OPTS"
export HADOOP_NFS3_OPTS="\$HADOOP_NFS3_OPTS"
export HADOOP_PORTMAP_OPTS="-Xmx512m \$HADOOP_PORTMAP_OPTS"
export HADOOP_CLIENT_OPTS="-Xmx512m \$HADOOP_CLIENT_OPTS"
export HADOOP_SECURE_DN_USER=\${HADOOP_SECURE_DN_USER}
export HADOOP_SECURE_DN_LOG_DIR=\${HADOOP_LOG_DIR}/\${HADOOP_HDFS_USER}
export HADOOP_PID_DIR=\${HADOOP_PID_DIR}
export HADOOP_SECURE_DN_PID_DIR=\${HADOOP_PID_DIR}
export HADOOP_IDENT_STRING=\$USER
hadoopenv
cat > ${install_path}/hadoop/etc/hadoop/slaves << slavesEOF
master
slavesEOF
echo -e "==========namenode 格式化==========\n"
hdfs namenode -format
echo -e "==========启动hadoop==========\n"
start-all.sh
echo -e "==========查看jps守护进程==========\n" 
jps
echo -e "==========卸载mariadb==========\n"
rpm -qa | grep mariadb
rpm -e --nodeps mariadb-libs
rpm -qa | grep mariadb
echo -e "==========安装mysql==========\n" 
systemctl stop mysqld
rm -rf /usr/local/mysql
mkdir /usr/local/mysql && tar -xzf ${software_path}/${mysql_name} -C /usr/local/mysql --strip-components 1
echo -e "==========创建mysql用户和组==========\n"
groupadd mysql
useradd -r -g mysql mysql
echo -e "==========创建mysql数据存储目录data和临时文件tmpdir===========\n"
mkdir /usr/local/mysql/{data,tmpdir}
echo -e "=========更改mysql文件所属的用户和组==========\n"
chown -R mysql:mysql /usr/local/mysql
/usr/local/mysql/bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/  2>&1 |  tee /usr/local/mysql/initialize.log
echo -e "==========编写my.cnf文件============\n"
cat > /etc/my.cnf << cnfEOF
[mysql]
#设置mysql客户端默认字符集
default-character-set=utf8
# 使用自动补齐功能
auto-rehash
[mysqld]
# 设置3306端口
port=3306
# 设置mysql的安装目录
basedir=/usr/local/mysql
# 设置mysql数据库的数据的存放目录
datadir=/usr/local/mysql/data
# 临时目录地址
tmpdir=/usr/local/mysql/tmpdir
#设置socke文件地址
socket=/tmp/mysql.sock
# 允许最大连接数
max_connections=200
# 服务端使用的字符集默认为8比特编码的latin1字符集
character-set-server=utf8
# 创建新表时将使用的默认存储引擎
default-storage-engine=INNODB
# 是否对sql语句大小写敏感，默认值0，1表示不敏感
lower_case_table_names=1
max_allowed_packet=16M
cnfEOF
echo -e "==========将mysql服务添加到系统服务列表==========\n"
cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
chmod +x /etc/init.d/mysqld
echo -e "==========启动MYSQL==========\n"
/etc/init.d/mysqld start
chkconfig --level 35 mysqld on
chkconfig --add mysqld
echo -e "=========查看mysql服务状态=========\n"
service mysqld status
echo -e "==========配置mysql环境变量==========\n"
echo "export MYSQL_HOME=/usr/local/mysql" >> /etc/profile
echo "export PATH=\$PATH:\$MYSQL_HOME/bin" >> /etc/profile
source /etc/profile

mysql_init_passwd=`grep "root@localhost: " /usr/local/mysql/initialize.log | cut -d " " -f11`
echo -e "===========初始化密码为:${mysql_init_passwd}==============="
echo -e "===========依次输入下面语句:=========================="
mysql --connect-expired-password -uroot -p${mysql_init_passwd} << EOF2
set password = password('password');
flush privileges;
use mysql
update user set host='%' where user='root';
select host,user from user;
flush privileges;
CREATE USER 'hive'@'%' IDENTIFIED BY 'password';
GRANT ALL ON *.* TO 'hive'@'%';
use mysql
update user set host='%' where user='hive';
flush privileges;
exit
EOF2
echo -e "==========安装Hive==========\n"
rm -rf ${install_path}/hive
mkdir ${install_path}/hive && tar -xzf ${software_path}/${hive_name} -C ${install_path}/hive --strip-components 1
echo -e "==========配置hive环境变量==========\n"
echo "export HIVE_HOME=${install_path}/hive" >> /etc/profile
echo "export PATH=\$PATH:\$HIVE_HOME/bin" >> /etc/profile
source /etc/profile
rm -rf ${software_path}/mysql_connect
mkdir ${software_path}/mysql_connect && tar -xzf ${software_path}/${mysql_connect_name} -C ${software_path}/mysql_connect --strip-components 1
echo -e "==========添加mysql驱动==========\n"
cp ${software_path}/mysql_connect/mysql-connector-java-5.1.47-bin.jar ${install_path}/hive/lib
cat > ${install_path}/hive/conf/hive-site.xml << hivesiteEOF
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	
	<property>
		<!--连接数据库URL-->
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
	</property>
	
	<property>
		<!--连接数据驱动-->
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	
	<property>
		<!--数据库连接用户名-->
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>hive</value>
	</property>
	
	<property>
		<!--数据库连接密码-->
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>password</value>
	</property>
	
	<property>
		<!--指定HDFS内hive数据临时文件存放目录,启动hive>，HDFS自动创建-->
		<name>hive.exec.scratchdir</name>
		<value>/hive/warehouse/tmp</value>
	</property>
	
	<property>
		<!--指定HDFS内hive数据的存放目录，HDFS自动创建-->
		<name>hive.metastore.warehouse.dir</name>
		<value>/hive/warehouse/home</value>
	</property>
	
	<property>
		<!--客户端显示当前数据库名称信息-->
		<name>hive.cli.print.header</name>
		<value>true</value>
	</property>
	
	<property>
		<!--客户端显示当前数据库名称-->
		<name>hive.cli.print.current.db</name>
		<value>true</value>
	</property>
	
	<property>
		<!--支持正则匹配-->
		<name>hive.support.quoted.identifiers</name>
		<value>none</value>
	</property>
</configuration>
hivesiteEOF
echo -e "==========配置hive-env.sh==========\n"
cat > ${install_path}/hive/conf/hive-env.sh << hiveenvEOF
export HADOOP_HOME=${install_path}/hadoop >> ${install_path}/hive/conf/hive-env.sh
export HIVE_CONF_DIR=${install_path}/hive/conf >> ${install_path}/hive/conf/hive-env.sh
hiveenvEOF
echo -e "==========删除不匹配jline.jar==========\n"
rm -rf ${install_path}/hadoop/share/hadoop/yarn/lib/ jline-0.9.94.jar
cp -f ${install_path}/hive/lib/jline-2.12.jar ${install_path}/hadoop/share/hadoop/yarn/lib/
echo -e "==========hive初始化==========\n"
schematool -dbType mysql -initSchema
echo -e "==========安装Spark集群==========\n"
rm -rf ${install_path}/spark
mkdir ${install_path}/spark && tar -xzf ${software_path}/${spark_name} -C ${install_path}/spark --strip-components 1
echo -e "==========配置spark环境变量==========\n"
echo "SPARK_HOME=${install_path}/spark" >> /etc/profile
echo "export PATH=\$PATH:\$SPARK_HOME/sbin:\$SPARK_HOME/bin" >> /etc/profile
source /etc/profile
echo -e "==========配置spark-env.sh==========\n"
cp ${install_path}/spark/conf/spark-env.sh.template ${install_path}/spark/conf/spark-env.sh
echo "export JAVA_HOME=${install_path}/java" >> ${install_path}/spark/conf/spark-env.sh
echo "export SPARK_MASTER_IP=master" >> ${install_path}/spark/conf/spark-env.sh
echo "export SPARK_WORKER_MEMORY=1G" >> ${install_path}/spark/conf/spark-env.sh
echo "SPARK_WORKER_CORES=1" >> ${install_path}/spark/conf/spark-env.sh
echo "export HADOOP_CONF_DIR=${install_path}/hadoop/etc/hadoop" >> ${install_path}/spark/conf/spark-env.sh
cat > ${install_path}/spark/conf/slaves <<slavesEOF
${HOSTNAME}
slavesEOF
echo -e "==========启动spark==========\n"
${install_path}/spark/sbin/start-all.sh
echo -e "==========jps查看守护进程=========\n"
jps
echo -e "===========安装Sqoop==========\n"
rm -rf ${install_path}/sqoop
mkdir ${install_path}/sqoop && tar -xzf ${software_path}/${sqoop_name} -C ${install_path}/sqoop --strip-components 1
echo -e "===========配置sqoop环境变量===========\n"
echo "export SQOOP_HOME=${install_path}/sqoop" >> /etc/profile
echo "export PATH=\$PATH:\$SQOOP_HOME/bin" >> /etc/profile
source /etc/profile
echo -e "===========查看sqoop版本==========\n"
sqoop version
cp  ${software_path}/mysql_connect/mysql-connector-java-5.1.47.jar ${install_path}/sqoop/lib/
echo -e "==========测试sqoop工具==========\n"
sqoop list-databases --connect jdbc:mysql://${HOSTNAME}:3306 --username root --password password
if [ $? -eq 0 ];then
	jps
	echo -e "=============全部部署完成==================\n"
else
	echo -e "==============sqoop工具部署失败============\n"
fi
@天道酬勤@
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
对12w条数据进行相关清理和数据迁移 （数据清理项目实战完整版）文章内有大量sql脚本
weixin_42188778的博客
04-16 2714
一、目的： 本篇文章详细记录了数据清洗工作的内容及过程，并对清洗的数据质量进行了评估和总结，便于成员对数据的质量有一个清晰认识。 二、背景： 历史数据中存有数据不规范、数据不准确、数据重复记录等问题，为确保业务正常高效运行，必须开展数据全面核实及数据清洗工作，为数据中心的建立奠定坚实的基础。 数据系统的功能模块预计在4月底上线，在系统上线前需要做好数据的清洗工作，将清洁有效的数据迁移到系统中，作为功能模块的基础数据。数据清洗工作的开展是为系统上线实施应用打牢数据基础。 系统将与统一身份认证系统集成
Kettle通过Java脚本清洗数据的demo
03-29
这个是Kettle一个转换的脚本，可以通过这个demo结合java代码来进行数据清洗。
DolphinDB +Python Airflow 高效实现数据清洗
DolphinDB智臾科技
04-07 1188
如何将 Airflow 调度框架与 DolphinDB 数据库结合起来进行结构化 ETL 作业管理~
使用脚本组件进行数据清理
weixin_56264090的博客
02-01 781
面对一些复杂的问题的时候，前面讲的清洗步骤就有点无能无力，这时就需要借助 Kettle 提供的脚本组件步骤来解决问题。 是否使用脚本组件开发？对于 ETL 的开发，我们对脚本是又爱又恨：一方面，希望开发出一个不需要编写任何代码的 ETL 流程，易于后期维护。另一方面，面对复杂问题，不得不用脚本组件步骤。 随着 Kettle 的不断更新，很多以前需要使用脚本才能实现的功能，现在都变成了可以直接使用的步骤，但是这并不能够满足用户所有的需求，所以脚本步骤总有需要的地方。
【数据采集与数据清洗】课堂笔记
weixin_55270959的博客
06-29 3682
第一章 大数据概述 1.1 进入大数据时代的原因 第三次信息化浪潮 信息科技为大数据时代提供支撑 1）存储设备容量不断增加 2）CPU处理能力大幅提升 3）网络带宽不断增加 数据产生方式的变革促成大数据时代来临 1.2 大数据概念：大数据不仅仅是数据的“大量化”，而是包含“快速化”“多样化”和 “价值化”等多重属性 1.3 大数据应用 大数据关键技术 1）大数据处理过程： 大数据采集-大数据预处理-大数据存储-大数据分析与挖掘-大数据可视化 2）大数据技术体系：数据采集与预处理技术，分布式数据存储技.
数据清洗脚本
最新发布
一名学术垃圾的博客
12-21 428
保存浏览状态：程序会在窗口关闭时保存当前浏览状态，包括当前所在文件夹和图像索引，以便下次重新打开程序时能够恢复到上次浏览的状态，并将标记信息保存到"last_viewed.txt"文件中。图像标记：用户可以按空格键来标记当前查看的图像，将其文件路径添加到已标记的图像列表中，并将标记信息保存到"plot.txt"文件中。显示图像信息：程序会在图像上方显示当前图像的文件路径和图像索引信息。自动排序：程序会自动将图像文件夹中的图像按数字顺序进行排序。根据plot.txt内容，可以删除不合格图片。
毕业设计（Boss直聘岗位数据分析）
06-18
我们需要对这些脏数据进行清洗与预处理后才能正常使用。最后使用 python + sql 脚本的方式对数据进行多维度分析，并使用 Pyecharts 工具进行数据可视化。整个分析可视化通过轻量化 WEB 框架 Flask 来进行部署。
数据整合平台使用指南.pdf
01-07
"轻量级数据整合类工具软件，具有开发容易、部署简单、运维轻松的特点，产品采用 先抽取加载到目标数据库后再进行清洗转换的 ELT 方式，充分利用数据库服务器自身的性能优势，通过异构数据采集、转换 脚本任务、作业...
大数据分析平台技术要求.docx
10-14
大数据分析平台技术要求主要涉及构建一个先进的、安全的、可扩展的大数据分析系统，该系统需具备平台化、构件化的特点，以实现不同环境下的安装、部署和升级移植。以下是基于提供的文件内容的关键知识点： 1. **...
SQL Server集成服务中的脚本控制流.pdf
09-19
4. 部署与执行：将包含脚本控制流的SSIS包部署到SQL Server上的SSIS Catalog，然后通过SQL Server Agent或其他调度工具进行执行。 五、最佳实践与注意事项 1. 尽量保持脚本简洁，避免在脚本中处理大量数据，以免...
Sqoop 史上最全面的大数据学习（十二）
热忱的博客
09-07 318
一、概述 Sqoop是一款开源的数据导入导出工具，可以将传统的关系型数据库导出至HDFS，也可以将HDFS中的数据导出至关系型数据库。 官网： http://sqoop.apache.org/ 原理：在Hadoop生态体系中，计算基本依赖于MR，那么Sqoop也是如此，Sqoop就是将Sqoop语句翻译成MR程序，来实现一个数据导入和导出的操作。那就不难理解到Sqoop就是一个对于InpuFormat和OutputFormat进行特殊定制的MR程序。 二、Sqoop安装 2.1 下载 官方下载地址：htt
基于动态可配置规则的数据清洗方法.pdf
08-27
来源于www.joca.cn
saless.csv数据的导入，清洗，分析，导出，可视化（利用hive，sqoop，mysql工具）
人工智能方向，计算机视觉
07-14 1794
saless.csv数据的导入，清洗，分析，导出，可视化（利用hive，sqoop，mysql工具）
大数据技术
12-19
本阶段详细介绍了大数据所涉及到的Linux、shell、Hadoop、zookeeper、HadoopHA、Hive、Flume、Kafka、Hbase、Sqoop、Oozie等技术的概念、安装配置、架构原理、数据类型定义、数据操作、存储集群等重点知识点。
Java批量数据清洗
qq_45122010的博客
05-09 2999
数据清洗
数据清洗（8.3.5-8.3.6）
qq_45810941的博客
11-15 685
一、加载用户数据至用户维度表 1.打开Kettle工具创建转换load_dim_customer，并添加“表输出”控件、“映射（子转换）”控价、“字段选择”控件、值映射控件、“维度查询/更新”控件，以及Hop跳连接线。 2.配置“表输入”控件，进入“表输入”界面 单击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮。 在SQL数据框中编写用于获取字段customer_last_update中的最大值，将该值替换成1970-01-01 00:00:00并赋值给临时字段max_dim_customer_
2021_w_2.一个数据清洗的脚本
Captain_DUDU的博客
11-30 814
一个数据清洗的脚本 #!/usr/bin/env python # -- coding: utf-8 -- # @Time : DATEDATE{TIME} # @Author : wang vx:672377334 # @File : v4.3.2深圳版本.py import datetime import os import numpy as np import pandas as pd # import time pd.set_option('float_format', lambda x: '
(深度学习)简单的图片和xml数据清洗脚本
SSSlasH的博客
09-16 876
简单的图片和xml数据清洗脚本：1.显示命名不规划的xml文件(可设置自己定义的命名规范格式）2.缺失xml文件显示3.缺失图像显示4.删除没有对应xml的图片（小心误删）5.删除没有对应图片的xml文件（小心误删）6.找出并删除内容为空的xml文件7.改写label出错的xml文件。
第五章 数据清洗
sheepcoder的博客
11-02 174
作业
Python或者Hadoop那个工具清洗、分析和可视化数据更好？
05-04
Python是一种通用编程语言，可以用它来编写数据清洗、分析和可视化的脚本。Python有很多数据处理和分析的第三方库，例如NumPy、Pandas、Matplotlib等，可以大大简化数据处理和可视化的代码编写。Python适合小规模的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值