- 博客(10)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 台式机安装黑苹果-新手教程
0、先看结果1、台式机配置名称内容主板AUSU B85M-V Plus显卡Intel HD Graphics 4600（CPU内置显核，动态显存为1G）CPUIntel Core i5-4670内存10G网络有线声卡Realtek ALC888B2、准备工作2.1 系统准备系统均采用的Clover引导的方式安装已成功安装过两个版本，分别为：10.13和10.15。后面通过10.15进行演示下载地址：2.2 工具准本...
2021-10-17 22:36:31
10582
1
原创 CentOS安装Kibana 7.4.2 with用户登录验证
准备ElasticSearch 已安装完成，且开启了登录验证#测试方式1. 打开elastic Head, 查看elastic search相关信息2. 在Index中，会出现.security-7安装包https://mirrors.huaweicloud.com/kibana/7.4.2/kibana-7.4.2-linux-x86_64.tar.gz安装步骤解压文件cd <安装目录>tar zxvf kibana-7.4.2-linux-x86_64.t
2020-08-27 10:48:09
387
原创 pyspark提交集群报错Exception: Python in worker has different version 2.7 than that in driver 3.7, PySpark
记录Pyspark使用中遇到一次填坑过程，得到个血泪的教训啊环境Spark 2.3.0集群模式：yarnPython 3.xCentOS 7问题1在通过spark-submit提交任务时，出现首次报错task 0.3 in stage 73.0 (TID 3953, h2, executor 1): org.apache.spark.api.python.PythonException: Traceback (most recent call last): File "/data/yar
2020-08-12 16:06:49
2148
原创 Jupyter中通过pyspark连接Hive数据库
环境CentOS 7Hive 2.3.6Spark 2.3.0Jupyter hub 1.1.0（notebook，lab通用）Python 3.7准备Spark, Hive已安装完成Jupyter 通过Anaconda 安装完成在spark/bin目录中，可通过spark-sql，pyspark连接hivepyspark测试代码from pyspark import SparkConf, SparkContextfrom pyspark.sql import HiveConte
2020-08-11 11:59:16
3330
原创 CentOS 7安装MicroSoft Open R 3.5.2
环境CentOS 7Microsoft Open R 3.5.2步骤下载安装文件官方网址：https://mran.microsoft.com/download或通过https://download.csdn.net/download/Albert_Fang/12675833 下载上传到CentOS服务器解压tar zxvf microsoft-r-installment-3.5.2.tar.gz安装3个rpm文件（当前账户需要有使用yum的权限）sudo yum
2020-07-31 13:29:03
266
原创 Jupyter Hub 解决中文乱码问题
问题在使用matplotlib绘图时，会出现中文变成方框的问题解决方法找到服务器上jupyter hub中字体存放的路径import matplotlib print(matplotlib.matplotlib_fname())2. 登陆Jupyter Hub 服务器（我的是centos），切换至以下路径cd /opt/module/anaconda3/lib/python3.6/site-packages/matplotlib/mpl-data3. 进入fonts目录，并
2020-07-02 11:26:06
437
原创 Hbase导出数据成csv格式或flat文件
背景最近业务部门需要将Hbase数据导出成csv格式文件，或是flat文件（平面格式）。遇到的难点是，Hbase中无固定的列名。语言shell环境CentOS 7系统Hbase 1.5.0逻辑Hbase文件导出后，通过分割文件，并行处理主要通过“字典”的功能，确保每列都能导出性能目前将文件分成10个小文件，并行处理，10分钟处理100万条数据具体代码export_f...
2020-05-06 13:41:27
1072
原创 部署Tez后Hive无法运行
环境系统 CentOS 7Hadoop 2.7.7Hive 2.6.2Tez 0.9.1报错部署完Tez，修改好Hive相关配置后，发现在运行Hive Sql时，出现“虚拟内存不足，Job被Node manger Killed”报错具体信息：Diagnostics: Container [pid=4913,containerID=container_1585644387775_04...
2020-05-01 15:34:54
1044
原创 R Studio连接Hive 2.6.2报错
背景:之前文章中，写过R Studio连接Hive 1.2.2.Centos7部署R studio连接Hive完整步骤后因需部署Tez，升级了Hive版本，从1.2.2升级到2.6.2。当再次通过R Studio连接Hive时，发下出现如下报错。报错drv<-JDBC("org.apache.hive.jdbc.HiveDriver",list.files("/opt/softw...
2020-05-01 15:10:33
424
原创 Centos7部署R studio连接Hive完整步骤
R studio连接Hive完整步骤环境系统为Centos 7，Hive版本为1.2.2前提可通过beeline连接Hive安装步骤1. 安装Ryum -y install R待安装完成后，在命令行输入R，查看R是否安装完成2. 安装R Studio下载R studiowget https://download2.rstudio.org/rstudio-server-rh...
2020-04-28 10:30:28
387
microsoft-r-installment-3.5.2.tar.gz
2020-07-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人