l_ibrary的博客

原创 sql安装(Mac)

使用homebrewbrew install mysqlmysql_secure_installation 配置密码: (最好123456)然后可以启动mysql#启动mysql.server start#进入交互界面mysql -uroot -p在pyspark访问mysql时遇到的问题:jdbaDF=spark.read.format('jdbc').option("driver","com.mysql.jdbc.Driver").option("url","jdbc:m

原创 pyspark写hbase出错

Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.Put.add([B[B[B)Lorg/apache/hadoop/hbase/client/Put;saveAsNewAPIHadoopDataset(conf=conf,keyConverter=keyConv,valueConverter=valueConv)pyspark调用这个方法的时候出错.未解决....

原创 mac配置spark并编写程序读取HBase数据

配置spark将hbase的lib目录下的一些jar包拷贝到spark的jar目录cd /usr/local/spark/jarsmkdir hbasecd hbasecp /usr/local/hbase/lib/hbase*.jar ./cp /usr local/hbase/lib/guava-12.0.1.jar ./cp /usr/local/hbase/lib/client-facing-thirdparty/htrace-core4-4.2.0-incubating.jar

原创 MAC安装hbase

http://archive.apache.org/dist/hbase/下载hbase安装文件,我下载的2.2.4(hadoop安装的3.2.1)解压安装包,并将文件放入/usr/local目录下,改名字为hbase配置环境变量vim ~/.bashrc export PATH=$PATH:/usr/local/hbase/bin编辑完成之后,执行source命令使上述配置在当前终端生效:source ~/.bashrc查看Hbase版本,确定hbase安装成功/usr/lo.

原创 mac pyspark运行报错

1.20/06/08 17:58:27 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0) org.apache.spark.api.python.PythonException: Traceback (most recent call last): File "/usr/local/spark/python/lib/pyspark.zip/pyspark/worker.py", line 469, in main ("%d.%d" % sy

原创 通过spark-submit运行python文件

原创 pyspark运行报错

```pythonfrom pyspark import SparkConf, SparkContextconf=SparkConf().setMaster("local").setAppName("My App")sc=SparkContext(conf=conf)logFile="file:///usr/local/spark/README.md"logData=sc.textFile(logFile,2).cache()numAs=logData.filter(lambda line: .

原创 mac 下使用pyspark

pyspack --master 以后默认为python的2.7版本使用: export PYSPARK_PYTHON=python3将其设置为python3的版本

转载 MAC 下安装hadoop

官网下载hadoop: http://hadoop.apache.org/releases.html文件下载后解压,将文件放入 /usr/local目录下伪分布式模式设置:进入目录: hadoop-3.2.1/etc/hadoop在hadoop-env.sh文件中增加JAVA路径设置:export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home打开core-site.xml文件,fs.d.

原创 使用spark shell 编写第一个代码

spark初学启动 spark shell : spark-shell .启动之后会自动创建sc的spark context对象加载text文件: spark创建sc,可以加载本地文件和HDFS文件创建RDD.val textFile = sc.textFile(“file:///usr/local/spark/README.md”) (加载本地文件)//获取文件textFile的第一行的内容textFile.first()//获取RDD文件textFile所有项的计数textFile.

原创 MAC下安装SPARK

@MAC 下安装Saprk参考: https://cloud.tencent.com/developer/article/14235081.搭建hadoop2.执行:brew install scala终端执行:scala -version查看是否安装成功命令行输入: vim ~/.bash_profile 增加环境变量export SCALA_HOME=/usr/local/Cellar/scala/2.13.2 (对应自己的安装版本)export PATH=PATH:PATH:PAT