- 博客(6)
- 资源 (5)
- 收藏
- 关注
原创 关于解决使用sqoop导出数据到mysql中文乱码问题!!!
当我们使用mysql的时候一般情况下都会出现乱码情况,出现这种情况的主要原因一般就是导入的数据和mysql数据的原始编码方式不同造成的,下面就是我的乱码案例:咱们先看下自己的编码表一般输入下面这个命令:show variables like 'character%';能查看到以下内容 不管你的是不是和上面这张表一样,但是一定在你修改之后要和下面这张表一样,所以在你对...
2018-08-14 15:17:36 6039 2
原创 MongoDB配置复制集和分片!!!
首先在确保你的电脑安装过mongodb和把mongodb的bin目录写到path里面并且成功运行过的情况下来操作如下步骤复制集:1同一个文件夹下面写入新建三个文件夹如下图类似与这种,然后再每个文件下新建立两个文件(nodex对应datax和logx)和一个win的可执行文件(PS:可执行文件就是你新建立一个txt的文件然后保存的直接把后坠名改为.bat)然后再编辑可执行文件在其中写...
2018-08-14 15:17:30 6892
原创 关于centos完美安装MYSql数据库!!!(不看肯定后悔的一定后悔!!!!
刚刚入门linux的是的小白们好多都不明白是怎么一回事,但是你用的时间长了,就会发现linux真的很好用,废话不说了,直接开始正题!!!1.centos7一般会自带数据库 所以大家在安装的一定要先卸载这个自带的数据库!输入下面命令:rpm -qa|grep mariadb会出现和mariadb相关的依赖 记住都要卸载!!使用下面命令:rpm -e --nodep...
2018-08-14 15:17:21 5183 4
原创 Spark的低成本安装(win) and 三节点集群安装(linux)
我这里给出两种安装spark的方式,一种是在win上安装另一种就是在linux集群上安装,前一种安装方式是一种低成本的安装没有shell界面,非常适合入过门的小白练习自己对spark的业务处理能力,而且这种安装方式能对电脑省去一大笔的cpu所以个人比较喜欢,第二种安装方式就是和之前安装hadoop的方式基本一样,比于第一种安装方式多了shell界面,所以就不过多介绍方式一,首先去官网下载安...
2018-08-14 15:17:00 2334
原创 spark怎么创建RDD,一个创建RDD的方式有哪些它们的区别是什么!!(Unit2)
spark的编程接口包括1.分区信息,数据集的最小分片 (1)Patitions()用法: scala> val part=sc.textFile("/user/README.md",6)part: org.apache.spark.rdd.RDD[String] = /user/README.md MapPartitionsRDD[9] at textFile at ...
2018-08-14 15:16:39 7191
原创 error: Microsoft Visual C++ 14.0 is required.CommandCommand "g:\anaconda3\python.exe -u -c "import s
如果在安装python模块的时候报错的话类似下面这些error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-toolsCommand "g:\anaco...
2018-08-04 17:38:52 3640
一个很牛逼的spark项目连接
2018-10-10
本人的spark项目代码以及数据,请下载查看
2018-10-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人