大数据基础知识【大数据导论】

已于 2024-09-13 08:19:22 修改
阅读量6.4k 收藏 61
点赞数 84
分类专栏： 大数据入门到进阶 文章标签： 学习 大数据 经验分享
于 2024-07-03 14:39:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81874719/article/details/140127079
版权
这里是阿川的博客，祝您变得更强

✨ 个人主页：在线OJ的阿川
💖文章专栏：大数据入门到进阶
🌏代码仓库：

写在开头

现在您看到的是我的结论或想法，但在这背后凝结了大量的思考、经验和讨论

在这里插入图片描述

在这里插入图片描述

目录

1. 大数据素养

技术性内容

  • 采集
  • 处理
  • 储存
  • 分析
  • 技术
  • 工具
    在这里插入图片描述

非技术性内容

  • 大数据安全
  • 大数据伦理
  • 大数据思维
    在这里插入图片描述

2. 大数据基本知识

在这里插入图片描述

  • 其中大数据交易
    买卖数据的活动，是以货币为媒介 获取数据商品的过程
    在这里插入图片描述
    数据商品三大特征

    • 处理后的数据才能交易
      在这里插入图片描述
    • 数据交易主体涉及众多
      在这里插入图片描述
    • 交易过程涉及多个产业链
      在这里插入图片描述

    大数据交易形式

    • 大数据交易公司
      在这里插入图片描述
    • 提供个人数据场所的公司
      在这里插入图片描述
    • 数据交易所
      在这里插入图片描述
    • API模式
      向用户提供接口，允许用户对平台数据进行访问
      在这里插入图片描述

    大数据交易技术支撑
    在这里插入图片描述
    大数据交易发展现状
    在这里插入图片描述
    大数据数据来源

    • 政府公开数据
    • 企业内部数据
    • 数据供应方数据
    • 网页爬虫数据
      在这里插入图片描述

    大数据数据产品类型

    • API
    • 数据包
    • 云服务
    • 解决方案
    • 数据产品
    • 数据定制服务
      在这里插入图片描述

    大数据交易平台类型

    • 综合数据服务平台
      为用户提供定制化的服务，涉及数据的处理和加工

    • 第三方数据交易平台
      对交易过程进行监管，并提供数据出售、数据购买、数据供应方查询、数据需求发布等一系列服务
      在这里插入图片描述

      从运行角度划分：

      • 政府主导的大数据交易平台
      • 企业以市场需求为导向建立的大数据交易平台
      • 产业联盟性质的大数据交易平台
        在这里插入图片描述

    大数据交易平台的运营模式

    • 数据中介和数据处理加工功能的交易平台
      在这里插入图片描述
    • 只具备中介功能的交易平台
      在这里插入图片描述

  • 其中大数据思维
    在这里插入图片描述
    大数据思维主要指

    • 全样而非抽样
      在这里插入图片描述
      因为有了分布式储存和处理技术，从而可以对全部的数据进行分析，而不是只能对小样本处理
    • 效率而非精确
      在这里插入图片描述
      处理数据时往往要"秒级"响应，所以效率往往是被关注的重点，分析的精确度达到一定的程度即可。
    • 相关而非因果
      在这里插入图片描述
      解释事物背后发展的机理
      预测未来可能发生的事件
    • 以数据为中心
      在这里插入图片描述
      以海量的数据进行计算，从而推测结果
    • 我为人人，人人为我
      在这里插入图片描述

    其中涉及

    • 数据采集
    • 数据处理
    • 信息发布
      在这里插入图片描述

  • 其中大数据安全
    重点关注数据的

    • 保密性
    • 完整性
    • 可用性
      在这里插入图片描述

    大数据安全的隐患

    • 大数据成为网络攻击的显著目标
      在这里插入图片描述

    • 大数据加大隐私泄露风险
      在这里插入图片描述

    • 大数据技术被应用到攻击手段中
      在这里插入图片描述

    • 大数据成为高级可持续攻击的一个载体
      在这里插入图片描述

    大数据安全的变化

    • 从静态安全到动态安全
      在这里插入图片描述

    大数据安全范围

    • 隐私和个人信息安全
      在这里插入图片描述
      其中包含个人的
      在这里插入图片描述

  • 其中大数据伦理

    • 个人信息被无形滥用
      在这里插入图片描述
    • 生活隐私被窥探利用
      在这里插入图片描述
    • 数据安全漏洞
      在这里插入图片描述
    • 数据垄断
      在这里插入图片描述

  • 其中数据共享
    不数据共享会导致：

    • 数据孤岛
      政府和企业里各个部门各自储存数据，部门之间的数据无法共通，导致数据像各个孤岛一样缺乏关联性
      在这里插入图片描述

    数据共享意义

    • 对于政府\企业的意义
      在这里插入图片描述

  • 其中数据开放
    数据开放三大理论
    在这里插入图片描述

3. 夹带私货

若你能看到看到这篇文章且能看到这，则说明你我有缘，留个关注吧，后面还会接着计算机408、底层原理、开源项目、以及数据、后端研发相关、实习、笔试/面试、秋招/春招、各种竞赛相关、简历相关、考研、学术相关……，祝你我变得更强

好的，到此为止啦，祝您变得更强

在这里插入图片描述
想说的话

学习来源厦门大学林子雨老师的 《大数据导论》（反反复复学习了5遍哈并且做了相应的练习 然后才进行的这篇博客的书写）
实不相瞒，写的这篇博客要写五个小时以上（加上自己学习和纸质笔记，共七小时吧），很累，希望大佬支持一下

在这里插入图片描述

道阻且长 行则将至
个人主页：在线OJ的阿川大佬的支持和鼓励，将是我成长路上最大的动力 在这里插入图片描述
Android开发:引入重复包报错Error:Execution failed for task ':app:transformDexArchiveWithExternalLibsDe...’解决方法
全沾软贱开发攻城狮
09-18 1万+
Android开发过程中，有时候会遇到往项目中导入重复包引起的错误，尤其是接手别人的项目，或者是合作开发的时候，会遇到这种情况，导入重复包的问题一般会报Error:Execution failed for task ':app:transformDexArchiveWithExternalLibsDexMergerForDebug’.的错误提示。错误提示图示如下： 方法一：遇到这种...
Android中使用databinding编译时出现的error:Execution failed for task ':app:dataBindingProcessLayoutsDebug'...
weixin_34384915的博客
01-23 474
Windows环境下使用svn对AndroidStudio更新代码时，总会在源文件中出现一堆乱码，尤其是xml文件中的乱码，不仅找起来费劲，改起来更费劲。 最近从svn更新代码之后，编译时出现了下面这个提示，而且AS中没有错误提示，这可真是捉急了。 databindingerror:Execution failed for task ':app:dataBindingProcessLayou...
成功解决What went wrong: Execution failed for task ‘:app:dataBindingMergeDependencyArtifactsDebug‘
逐梦人.的博客
09-12 6681
成功解决 What went wrong: Execution failed for task ':app:dataBindingMergeDependencyArtifactsDebug' Could not resolve all files for configuration ':app:debugCompileClasspath'
Android问题笔记二十六：aar合并打包报Execution failed for task ‘:app:mergeDebugNativeLibs
空名先生
04-17 5825
即将aar后缀改为zip，解压出jar包及资源文件（如果有），将jar包及资源文件（如果有）复制到相应的目录，按照jar包的方式集成。需要注意的是如果aar包中有通过R.id./R.layout.等方式调用资源文件，这种集成方式可能会报资源文件找不到，需要自己测试。上面提供的方案虽然能解决本项目中集成报错问题，但是如果你想将module打成aar包供其他项目使用，你会发现module中引用的aar包是打不进去的。网上有很多解决方案，基本上都很麻烦，或者需要改变项目结构，今天我提供一个最简单的实现方案。
Execution failed for task ‘:component_app:dataBindingGenBaseClassesDebug
Neo的博客
07-16 2560
编译错误，记录一下 编译项目时，出现该异常;Execution failed for task ':component_app:dataBindingGenBaseClassesDebug 尝试clear, invalidata Cache/Restart ,无效 最后删除工目录下的.gradle,.idea文件，然后重新编译解决 其他作者遇到该问题的解决方法：https://blog.csdn.net/wodenhaowzg/article/details/107588068 ...
Android Studio新建项目出错> Task :app:mergeDebugResources FAILED
yn7901的博客
04-22 5746
Android Studio新建项目出错> Task :app:mergeDebugResources FAILED 报这个错去确实不清楚是个啥问题，最终解决问题的方法如下： 问题的原因是gradle版本和gradle插件版本不匹配，如下图： 如果将上面的插件如下配置，将不会出错： 较低版本在网上容易查，但是gradle5.6.4对应的插件版本看来不宜过高，亲自尝试3.5.3是可...
解决Execution failed for task‘:app:mergeDebugResources...
m0_51323948的博客
03-12 2万+
解决Execution failed for task':app:mergeDebugResources...'.首先先查看自己的路径是否有问题其次检查jdk版本与本机的jdk版本与本机的jdk版本是否一致最后需要检查自己的gradle包是否下载下来了，同时查看版本是否匹配 首先先查看自己的路径是否有问题 repositories { // 用下面的路径： maven{ url 'https://maven.aliyun.com/repository/jcenter' }
【解决】kotlin写Android项目第一次编译报Execution failed for task ‘:app:kaptDebugKotlin‘.异常
苹果是我咬的的博客
10-22 1万+
【解决】kotlin第一次编译Android项目报Execution failed for task ':app:kaptDebugKotlin'.异常 Execution failed for task ':app:kaptDebugKotlin'. > A failure occurred while executing org.jetbrains.kotlin.gradle.internal.KaptWithoutKotlincTask$KaptExecutionWorkAction &g
android 编译报错：* What went wrong:Execution failed for task ‘:app:mergeDebugNativeLibs‘. ＞ A failure...
weixin_52237839的博客
07-30 724
有了 Android Gradle 插件 4.0，上述配置不再是必需的，并且会导致构建失败。（经查找资料，官方报错内容）(我的实际报错内容)
Execution failed for task ‘:app:checkDebugDuplicateClasses‘.崩溃了崩溃了
weixin_38494385的博客
06-21 6376
Executing tasks: [:app:assembleDebug] in project E:\Studiocode\Lezhifu AGPBI: {"kind":"warning","text":"Using flatDirs should be avoided because it doesn't support any meta-data formats.\nCurrently detected usages:\n- repository flatDir used in: root proj
Android开发导入依赖后出现异常 Execution failed for task ‘:app:mergeDebugNativeLibs‘.
Zzu_zzx的博客
06-10 7189
开发Android二维码扫描功能时，需要用Zxing包，就在build.gradle文件中的依赖中写入 implementation 'com.journeyapps:zxing-android-embedded:4.3.0' 然后Rebuild项目，就出现了如下异常信息 Execution failed for task ':app:mergeDebugNativeLibs'. > Could not resolve all files for configuration ':app:debugRun..
ViewBindingPropertyDelegate:使使用Android View Binding的工作更简单
03-20
ViewBindingPropertyDelegate 使使用更简单 重要说明：在使用库之前，请先启用ViewBinding 项目的每个Gradle模块都需要启用ViewBinding。您可以在找到如何做 将库添加到项目 allprojects { repositories { mavenCentral() } } dependencies { implementation ' com.github.kirich1409:viewbindingpropertydelegate:1.4.4 ' // To use only without reflection variants of viewBinding implementation ' com.github.kirich1409:viewbindingpropertydelegate-n
Error:Execution failed for task ‘:app:processDebugManifest‘. ＞ Manifest merger failed with multiple
s_nshine的博客
04-07 2377
造成该问题的原因是: AS的Gradle插件默认会启用Manifest Merger Tool，若Library项目中也定义了与主项目相同的属性（例如默认生成的Android:icon和android:theme），则此时会合并失败，并报上面的错误。 可以用以下两种方法解决问题 方法1： 在你library的manifest.xml文件中 xmlns:tools
Android:Execution failed for task ‘:app:processDebugMainManifest‘.＞ Manifest merger
weixin_52173254的博客
12-10 3499
在manifests包下,有一个AndroidManifest.xml文件，直接添加图示。然后通过建议得知：建议最小版本大于15，把它调高一些就解决了(这个命令，可以专门针对Manifest来进行编译,然后。导入旧版本(别人)的项目，常常会报这个错误。
Error:Execution failed for task ':app:mergeDebugResources'错误
Cricket_7的博客
12-21 1630
1，错误，编译无法通过 Error:Execution failed for task ':app:mergeDebugResources'. > Error: Some file crunching failed, see logs for details 2，解决方法： 资源文件中，有9.png的图片编译错误，  删除  同步， 然后在添加进去。...
Error:Execution failed for task ':app:processDebugManifest'. > Manifest merger failed with 解决方案
pengchanghua的博客
09-22 4105
解决方案如下： 1、如果你的项目中有导入依赖库，首先检查下这个依赖库的builde.gradle中的minSdkVersion和targetSdkVersion是否和你自己主项目中的一致，如果发现不一致，将其改成一样即可。 2、在合并Manifest时报错，若Library项目中也定义了与主项目相同的属性，例如android:icon和 android:theme，则此时会合并失败。解决方案是
Execution failed for task ':app:transformDexArchiveWithExternalLibsDexMergerForDebug'的解决方案
HermitSun的博客
07-11 1192
按照官方文档的流程走了一遍，莫名其妙就报了这个错。网上查了一圈，有说是因为用户目录里含有中文字符（准确来说是非ACSII字符），然后我就去改了一下，但是并没有解决。 后来我发现我的报错跟他们的不同之处在于，同样是这个错误，但指向的路径不同。我的报错显示的是/android/app/build/intermediates/transforms/dexBuilder/debug/196这个目录找不到，...
Android Execution failed for task ‘:app:mergeDebugJavaResource
Lighthouse
03-08 2267
错误提示原因：App项目依赖的三方AAR，而AAR中编译后的字节码class.jar包含相同的kotlin-stdlib-1.7.10.jar文件,导致资源merge出现异常。官方给出了。
gradle编译出错：Execution failed for task ':app:compileTestDebugJava'.
热门推荐
一个码农的博客
06-17 10万+
今天更新了android studio，从0.5.3升级到0.6.1版本，结果在IDE中编译时没有问题，但是在命令行时编译就会出现以下错误： :app:compileTestDebugJava FAILED FAILURE: Build failed with an exception. * What went wrong: Execution failed for task ':app:c
Execution failed for task ':app:shrinkReleaseRes'.
最新发布
01-11
当遇到 `Execution failed for task ':app:shrinkReleaseRes'` 错误时，这通常意味着资源压缩过程中出现了问题。此错误可能由多种原因引起，包括但不限于配置不正确、依赖冲突或特定于项目的其他因素。 #### 可能的...
评论 106
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值