大数据
文章平均质量分 76
大数据
Starzkg
你已经是一个成熟的程序猿了,要学会自己DEBUG了。
展开
-
《生产实习》实习报告——JAVA大数据工程师
(一)专业实习主要内容及进程1. 熟悉大数据的市场与现状,在企业中的应用方向2. 了解Hadoop的概念和生态圈等。3. 掌握Linux基本命令和VI编辑器。4. 掌握Hadoop的安装和常见错误分析。5. 掌握MapReduce工作原理和编程模型,并能进行相应的开发。6. 掌握Sqoop的概念、安装。7. 掌握Hive的安装、常见操作和清洗日志文件。8. 掌握MySQL和HDFS的双向数据导入。9. 能运用Hadoop生态圈的多个组建进行简单的综合开发...原创 2021-01-22 23:21:05 · 3435 阅读 · 0 评论 -
IntelliJ IDEA——连接Apache Hive时 “Database” Plugin错误[enabling autocommit is not supported.]解决方案
问题描述问题分析解决方案参考文章Could not display Hive tables in IntelliJ IDEA “Database” PluginFailure to connect to Hiveserver2 using jdbc原创 2021-01-21 19:58:57 · 1274 阅读 · 2 评论 -
《生产实习》实习日志——JAVA大数据工程师
大数据概念(2021年1月18日)对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换原创 2021-01-18 19:46:46 · 2619 阅读 · 0 评论