- 博客(7)
- 收藏
- 关注
RSS订阅原创 使用pyodbc连接SqlServer数据库问题总结
使用pyodbc连接SqlServer数据库问题总结一、背景1．系统：ubuntu2．开发环境：sophon的notebook3．工具版本：ubuntu18.04、unixodbc2.3.4(需要2个包，下面详细说明)、msodbcsql17、freetds1.1.6、python3.6.7、pyodbc4.0.264．数据库：SqlServer20125．生产环境无法连接外网，所有安...
2019-10-14 22:12:46
1354
原创 hadoop 集群启动后，其他节点datanode无法启动 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException
hadoop的logs中的异常提示：java.io.IOException: All specified directories are failed to load.（具体如下图所示：）原因：从日志上看是因为 datanode的clusterID 和 namenode的clusterID 不匹配根本原因：其实，是因为第一次格式化namenode后，启动了hadoop集群，生成了clus...
2019-06-21 10:02:36
1837
1
原创 安装好hive后，用bin/hive 启动时，报Caused by: java.sql.SQLException: Access denied for user 'root'@'hadoop1'
1、出现异常的背景：已经启动了hadoop（start-dfs.sh，start-yarn.sh），安装好Mysql，然后安装好hive，并且配置好Hive元数据配置到MySql中的前提下，进入hive，用bin/hive 来启动hive。2、异常截图如下：3、原因：①先查看是否为密码问题（有可能是密码错误导致）②如果不是密码问题，即为权限问题。4、解决方案：1、密码问题：1.1...
2019-06-05 21:16:24
1746
原创 spark在配置 Standalone 模式，启动时报:JAVA_HOME is not set
问题如下图所示解决方案：在spark/sbin/spark-config.sh中添加入JAVA_HOME变量即可如下图所示
2019-06-02 19:05:12
416
原创 大数据的离线数据分析项目中，hive如何集入tez运行引擎
1）下载tez的依赖包，下载地址为：http://tez.apache.org2）拷贝apache-tez-0.9.1-bin.tar.gz到anry2(anry2是我的主机名)的/anry/module目录下[XXX@anry2 module]$ lsapache-tez-0.9.1-bin.tar.gz3）解压缩apache-tez-0.9.1-bin.tar.gz[XXX@anry...
2019-05-17 10:22:12
204
原创 离线数据分析项目中集成了hive的tez运行引擎出现的问题
原因：出现这种情况，是属于 启动hive，会运行Tez，这时候检查到用过多内存而被NodeManager杀死进程的问题。解决方案：方案一：或者是关掉虚拟内存检查。我们选这个，修改yarn-site.xmlyarn.nodemanager.vmem-check-enabledfalse方案二：mapred-site.xml中设置Map和Reduce任务的内存配置如下：(value中...
2019-05-17 09:56:12
582
原创 HBase中，HMaster启动后直接挂的问题
HBase中，HMaster启动后，直接挂掉了的问题。我是先启动了dfs.sh,然后启动zookeeper，再启动HMaster，进入shell，用list查看默认存在哪些表，结果，提示：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing，进入log中看日志，提示如下图所示：原因：1、集群的时...
2019-04-24 19:28:20
857
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人