- 博客(3)
- 收藏
- 关注
原创 Aws之DynamoDb批量读取遇到的坑
Aws之DynamoDb批量读取遇到的坑最近要写个读取aws大量数据的需求,需要操作多个DynamoDb数据库,这时候沿路就遇到了许多问题1.从数据库直接扫描读取全部数据第一步连接数据库# -*- coding: utf-8 -*-import boto3from boto3.dynamodb.conditions import Attrdynamodb = boto3.resou...
2019-11-06 16:52:36 1881
原创 如何实现一个拍照搜题功能
如何实现一个拍照搜题功能主要分4步数据抓取,数据处理 ,图文转换,搜索引擎1.数据抓取主要抓取网页网站题库数据可抓取题库网,无忧网,新东方题库技术实现:利用jsoup抓取相应网站的数据,利用htmlunit模拟客户端抓取数据通过下面链接可下载Jsoup的jar包http://central.maven.org/maven2/org/jsoup/jsoup/1.12.1/jsoup-...
2019-10-25 10:23:44 9784 1
原创 Spark工作原理入门
Spark工作原理入门文章目录Spark工作原理入门1.功能概要基本描述运用场景实际使用2.模块组成HDFSMLlibMesosTachyonGraphXSpark SQLSpark Streaming3.Spark核心对象RDD的处理什么是RDD?RDD的属性RDD的处理流程RDD的运算4.核心逻辑架构Spark的任务提交流程名词解释DriverSparkContextRDDDAG Sched...
2019-10-24 15:04:49 392
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人