大数据虚拟机需要配置的 jdkhadoopzookeeeperkafkaflumestromredisnginxhivesparksqoophbaseHDFS :分布式文件系统YARN:分布式资源管理MapReduce:离线计算框架Spark:内存计算框架Hive:数据仓库 (HQL),提供一种类SQL的数据处理方法Pig:一...
win10 C盘根目录无法创建文件 以管理员身份运行命令行工具,输入icacls c:\ /setintegritylevel M,等待命令执行完成。如果还是不能创建文件的话,右键点击C盘:属性 > 安全,把写权限赋予Users组( 如果弹出错误提示不用理会,点击:继续 即可 )。...
maven仓库 settings.xml文件 <?xml version="1.0" encoding="UTF-8"?><!--Licensed to the Apache Software Foundation (ASF) under oneor more contributor license agreements. See the NOTICE filedistributed with this wor...
linux更改用户权限 chown [-cfhvR] [--help] [--version] user[:group] file...参数 :user : 新的文件拥有者的使用者 IDgroup : 新的文件拥有者的使用者组(group)-c : 显示更改的部分的信息-f : 忽略错误信息-h :修复符号链接-v : 显示详细的处理信息-R : 处理指定目录以及其子目录下的所有文件--help : ...
windowsKAFKA创建TOPIC 进入KAFKA/BIN/WIONDOWS创建topickafka-topics.bat --create -zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic "test"创建生产者kafka-console-producer.bat --broker-list localhost:9092 --t...
idea快捷键 +++++++++++++++++++++++++++++IntelliJ Idea 常用快捷键列表+++++++++++++++++++++++++Ctrl+Shift + Enter,语句完成“!”,否定完成,输入表达式时按 “!”键Ctrl+E,最近的文件Ctrl+Shift+E,最近更改的文件Shift+Click,可以关闭文件Ctrl+[ OR ],可以跑到大括号的...
启动spark集群 ./zkmanager.sh startstart-all.sh进入/root/apps/spark-2.4.4-bin-hadoop2.7/sbinstart-all.sh浏览器进入http://hdp-1:8080/hdp-2/root/apps/spark-2.4.4-bin-hadoop2.7/sbin./start-master.shhdp-3/root/ap...
linux端口被占用 1、首先查找到占用8080端口的进程号PID是多少CMD>netstat -ano | findstr 8080这个命令输出的最后一列表示占用8080端口的进程号是多少,假设为12342、kill掉这个进程CMD>taskkill /F /PID 1234...
kafka流程 hdp-1start-all.sh./zkmanager.sh start三台虚拟机启动KAFKA进Kafka BINcd apps/kafka_2.12-2.2.0/bin./kafka-server-start.sh -daemon ../config/server.properties第一台机器启动生产者./kafka-console-producer.sh --bro...
linux安全模式--更改硬件时间 hadoop关闭安全模式hadoop dfsadmin -safemode leavelinux修改硬件时间hwclock --systohctimeout错误set global time_zone = '+8:00';linux关闭安全模式SET SQL_SAFE_UPDATES = 0;...
flume配置完成后启动代码 ./flume-ng agent -C ../conf/ -f ../dir-hdfs.conf -n ag1 -Dflume.root.logger=INFO,console INFO,console 是逗号不是点-Dflume.root.logger=INFO,console:打印到控制台-C ../conf/ : 配置信息-f ../di...