- 博客(11)
- 收藏
- 关注
原创 sql安装(Mac)
使用homebrewbrew install mysqlmysql_secure_installation 配置密码: (最好123456)然后可以启动mysql#启动mysql.server start#进入交互界面mysql -uroot -p在pyspark访问mysql时遇到的问题:jdbaDF=spark.read.format('jdbc').option("driver","com.mysql.jdbc.Driver").option("url","jdbc:m
2020-06-10 15:15:15
389
原创 pyspark写hbase出错
Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.Put.add([B[B[B)Lorg/apache/hadoop/hbase/client/Put;saveAsNewAPIHadoopDataset(conf=conf,keyConverter=keyConv,valueConverter=valueConv)pyspark调用这个方法的时候出错.未解决....
2020-06-09 22:30:12
300
原创 mac配置spark并编写程序读取HBase数据
配置spark将hbase的lib目录下的一些jar包拷贝到spark的jar目录cd /usr/local/spark/jarsmkdir hbasecd hbasecp /usr/local/hbase/lib/hbase*.jar ./cp /usr local/hbase/lib/guava-12.0.1.jar ./cp /usr/local/hbase/lib/client-facing-thirdparty/htrace-core4-4.2.0-incubating.jar
2020-06-09 19:51:01
189
原创 MAC安装hbase
http://archive.apache.org/dist/hbase/下载hbase安装文件,我下载的2.2.4(hadoop安装的3.2.1)解压安装包,并将文件放入/usr/local目录下,改名字为hbase配置环境变量vim ~/.bashrc export PATH=$PATH:/usr/local/hbase/bin编辑完成之后,执行source命令使上述配置在当前终端生效:source ~/.bashrc查看Hbase版本,确定hbase安装成功/usr/lo.
2020-06-08 20:49:55
1949
原创 mac pyspark运行报错
1.20/06/08 17:58:27 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0) org.apache.spark.api.python.PythonException: Traceback (most recent call last): File "/usr/local/spark/python/lib/pyspark.zip/pyspark/worker.py", line 469, in main ("%d.%d" % sy
2020-06-08 18:06:49
420
原创 pyspark运行报错
```pythonfrom pyspark import SparkConf, SparkContextconf=SparkConf().setMaster("local").setAppName("My App")sc=SparkContext(conf=conf)logFile="file:///usr/local/spark/README.md"logData=sc.textFile(logFile,2).cache()numAs=logData.filter(lambda line: .
2020-06-08 12:02:25
2434
1
原创 mac 下使用pyspark
pyspack --master 以后默认为python的2.7版本使用: export PYSPARK_PYTHON=python3将其设置为python3的版本
2020-06-08 10:54:29
414
转载 MAC 下安装hadoop
官网下载hadoop: http://hadoop.apache.org/releases.html文件下载后解压,将文件放入 /usr/local目录下伪分布式模式设置:进入目录: hadoop-3.2.1/etc/hadoop在hadoop-env.sh文件中增加JAVA路径设置:export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home打开core-site.xml文件,fs.d.
2020-06-08 10:29:21
449
原创 使用spark shell 编写第一个代码
spark初学启动 spark shell : spark-shell .启动之后会自动创建sc的spark context对象加载text文件: spark创建sc,可以加载本地文件和HDFS文件创建RDD.val textFile = sc.textFile(“file:///usr/local/spark/README.md”) (加载本地文件)//获取文件textFile的第一行的内容textFile.first()//获取RDD文件textFile所有项的计数textFile.
2020-06-07 17:22:49
395
原创 MAC下安装SPARK
@MAC 下安装Saprk参考: https://cloud.tencent.com/developer/article/14235081.搭建hadoop2.执行:brew install scala终端执行:scala -version查看是否安装成功命令行输入: vim ~/.bash_profile 增加环境变量export SCALA_HOME=/usr/local/Cellar/scala/2.13.2 (对应自己的安装版本)export PATH=PATH:PATH:PAT
2020-06-07 17:01:29
1337
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人