data_curd的博客

​ 准备虚拟机 用户名:root 密码:123456 IP: 192.168.100.100 主机名: node01 修改虚拟机IP地址: vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 HWADDR=00:0C:29:61:02:EC TYPE=Ethernet UUID=78ce60bd-12ff-4f76-9783-c1ddba997090 ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static

Impaly环境的搭建： 1：单机环境 服务器规划：node01 前提条件： 启动kafka节点 安装部署： 1：上传压缩包 2：解压缩：tar -xvzf imply-3.0.4.tar.gz -C ../servers 3：删除安装目录下的conf配置文件夹 4：上传“conf-quickstart.zip” 5：解压缩conf-quickstart.zip 6：修改conf-quickstart/druid/_common/common.runtime.properties 文件 6.1：修

** 在web/conf/ ** vim azkaban.properties Azkaban Personalization Settings azkaban.name=Test azkaban.label=My Local Azkaban azkaban.color=#FF3601 azkaban.default.servlet.path=/index web.resource.dir=web/ default.timezone.id=Asia/Shanghai Azkaban UserManager

关于：：：**Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 报错问题的解决方案 如出现跟上图一样的报错信息，应修改Hadoop的NativeIO.java源码 C:\U...

执行任务时，卡在（state:ACCEPTED）这一直不动， 20/09/09 11:15:16 INFO yarn.Client: Application report for application_1599648117906_0004 (state: ACCEPTED) 20/09/09 11:15:17 INFO yarn.Client: Application report for application_1599648117906_0004 (state: ACCEPTED) 20/09/09

此篇内容较简单干练，看不懂，欢迎关注加好友一起讨论， 一起钻研打通大数据那个组件的通道 val df: DataFrame = spark.sql("select * from merchantinfo ") df.write.mode(SaveMode.Overwrite) .format("jdbc") .option("url","jdbc:mysql://192.168.200.241:3306") .option("dbtable","test_superset.test1") .option(

第一类配置： 需要在/etc/hadoop/下配置四个.xml文件 1》.hadoop-env.sh 需要配置 export java_home=/export/servers/java 2》core-site.xml 指定hadoop所使用的文件系统schma，有hdfs，file，fds等等，端口号是指namenode的地址，现在用8020，以前用9000，两个都可以用，但是只能选一个 <property> <name>fs.defaultFS</n