- 博客(9)
- 收藏
- 关注
RSS订阅原创 spark数据导入mysql失败的解决办法
问题：rebuyDF.write.mode("append").jdbc("jdbc:mysql://localhost:3306/dbtaobao", "dbtaobao.rebuy", prop)语句执行出错。prop.put("driver","com.mysql.jdbc.Driver") //表示驱动程序是com.mysql.jdbc.Driver。prop.put("user", "root") //表示用户名是root，根据自己的mysql设置进行更改。
2024-05-14 09:56:54
151
1
原创 淘宝双11数据分析与预测课程案例
当你每次执行失败后，其实在/tmp/sqoop-你的用户名/compile(或者是/tmp/sqoop/compile，可以找找看)文件夹下有许多临时文件夹，文件夹名称为一大串字符，每个文件夹内有对应表名生成的.jar包、.java和.class文件。再切换目录至/usr/local/hadoop；上面已经成功把HDFS中的“/dbtaobao/dataset/user_log”目录下的small_user_log.csv数据加载到了数据仓库Hive中，我们现在可以使用下面命令。
2024-05-12 09:28:24
825
1
原创 eclipse、mysql、tomcat链接失败的解决方法
interactive_timeout、wait_timeout这两个参数都是28800秒，即8小时。interactive_timeout是服务器关闭交互式连接前数据库等待的时间（如在mysql命令输入界面操作数据库），wait_timeout是服务器关闭非交互式连接前等待的时间（如程序通过hibernate连接数据库）。1、登录mysql数据库，查询数据库连接等待时间：show global variables like '%timeout';2、为了保持这两个数据的同步，同时修改这两个参数。
2024-05-12 08:24:04
114
原创 eclipse中无法导入Apache Tomcat v8.0的解决方法
eclipse会搜寻这个网址的所有软件，并且显示到下面的列表（建议使用代理，否则可能要花很长时间显示和下载插件，至于如何设置eclipse代理，请自行google）。在安装向导的窗口, 点击”Work With”下拉，根据你的eclipse版本名选择。安装好了之后就会发现上面的问题里面都会有了apache tomcat，然后选择自己系统装的版本即可。菜单栏的help选项中，选择install new software。然后点开上面这个选项，然后勾选下面这个选项。然后就是点击next进行安装重启。
2024-05-12 08:20:43
283
原创 eclipse中没有Dynamic Web Project的解决方法
依次点击“Next ”知道你看到 “ Review licences”的窗口。eclipse会搜寻这个网址的所有软件，并且显示到下面的列表（建议使用代理，否则可能要花很长时间显示和下载插件，至于如何设置eclipse代理，请自行google）。在安装向导的窗口, 点击”Work With”下拉，根据你的eclipse版本名选择。安装完插件之后, Eclipse会要求你重启eclipse，选“yes”。为当前的eclipse安装Java EE开发插件。eclipse会开始安装新的软件.然后点击”Next“。
2024-05-12 08:18:22
226
原创 sqoop数据导入mysql失败的解决方法
当你每次执行失败后，其实在/tmp/sqoop-你的用户名/compile(或者是/tmp/sqoop/compile，可以找找看)文件夹下有许多临时文件夹，文件夹名称为一大串字符，每个文件夹内有对应表名生成的.jar包、.java和.class文件。--export-dir '/user/hive/warehouse/dbtaobao.db/inner_user_log ' #hive 中被导出的文件。--fields-terminated-by ',' #Hive 中被导出的文件字段的分隔符。
2024-05-12 08:14:48
327
1
原创 hive数据导入mysql失败的解决方法
修改配置文件yarn-site.xml ，参数不固定。如果上述问题解决不成功，可以继续尝试下边的命令。必须重新启动hadoop。
2024-05-12 08:11:44
549
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人