- 博客(3)
- 收藏
- 关注
RSS订阅原创 Aws之DynamoDb批量读取遇到的坑
Aws之DynamoDb批量读取遇到的坑最近要写个读取aws大量数据的需求，需要操作多个DynamoDb数据库，这时候沿路就遇到了许多问题1.从数据库直接扫描读取全部数据第一步连接数据库# -*- coding: utf-8 -*-import boto3from boto3.dynamodb.conditions import Attrdynamodb = boto3.resou...
2019-11-06 16:52:36
1837
原创 如何实现一个拍照搜题功能
如何实现一个拍照搜题功能主要分4步数据抓取，数据处理 ，图文转换，搜索引擎1.数据抓取主要抓取网页网站题库数据可抓取题库网，无忧网，新东方题库技术实现：利用jsoup抓取相应网站的数据，利用htmlunit模拟客户端抓取数据通过下面链接可下载Jsoup的jar包http://central.maven.org/maven2/org/jsoup/jsoup/1.12.1/jsoup-...
2019-10-25 10:23:44
9577
1
原创 Spark工作原理入门
Spark工作原理入门文章目录Spark工作原理入门1.功能概要基本描述运用场景实际使用2.模块组成HDFSMLlibMesosTachyonGraphXSpark SQLSpark Streaming3.Spark核心对象RDD的处理什么是RDD？RDD的属性RDD的处理流程RDD的运算4.核心逻辑架构Spark的任务提交流程名词解释DriverSparkContextRDDDAG Sched...
2019-10-24 15:04:49
382
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人