- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hanlp使用过程中报错 RuntimeError: The MPS backend is supported on MacOS 12.3+.
pytorch版本问题
2022-07-19 15:14:54
2221
原创 Docker上部署fastApi
project目录下新建requirements.txt和Dockerfile来进行配置用如下代码生成requirement内容Dockerfile3. 构建Docker镜像在terminal中输入：4.启动容器PS:由于本项目中要用到另外一个容器的mysql，因此要对network进行设置，配置一个bridge模式的网络，才可访问另外容器中的mysql。......
2022-06-21 18:10:22
788
原创 SparkCore基础知识总结
SparkCore基础知识1 Spark运行环境1） Local模式 不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学、调试、演示。2） StandAlone模式 StandAlone模式即独立部署模式，体现了经典的master-slave模式。在集群中选择一个节点作为Master，另外其他节点都可以作为Worker节点。3） Yarn模式 StandAlone模式由Spark自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立
2022-03-05 14:57:38
1725
原创 Kafka基础知识总结，附面试题
Kafka基础知识总结文章目录Kafka基础知识总结1 消息队列1.1 消息队列应用场景使用消息队列的好处：1.2 消息队列的两种模式2 Kafka基础架构2.1 Kafka工作流程及文件存储机制2.2 Kafka生产者2.2.1 分区策略2.2.2 数据可靠性保证2.2.3 Exactly Once语义2.3 Kafka消费者2.3.1 消费方式2.3.2 分区分配策略2.3.3 消费者offset的存储2.4 Kafka高效读写数据2.5 Zookeeper在Kafka中的之作用3 相关面试知识Ka
2022-02-28 18:20:39
1372
原创 HDFS、MapReduce、Yarn相关高频面试知识点
HDFS、MapReduce、Yarn相关高频面试知识文章目录HDFS、MapReduce、Yarn相关高频面试知识HDFS读写流程读流程写流程HDFS小文件处理MapRuduce工作流程Map阶段Reduce阶段Map后shuffle机制Shuffle 优化Yarn资源调度工作机制Yarn调度器Hadoop解决数据倾斜的方法HDFS读写流程读流程客户端(HDFS Client)通过Distributed FileSystem分布式文件系统向NameNode请求下载文件，由NameNode返回目
2022-02-26 16:06:58
1200
原创 Spark Streaming + Kafka 实现实时数据传输
Spark Streaming + Kafka 实现实时数据传输版本说明：Spark 3.0.0Kafka 2.12zookeeper 3.5.7文章目录Spark Streaming + Kafka 实现实时数据传输一、集群端二、IDEA端一、集群端前提：配置好并启动三台节点的zookeeper在三个结点分别配置Kafka①解压安装包，在安装目录/home/kafka-2.12下创建logs文件夹②修改./config/vi server.properties配置文件-----
2022-02-24 16:31:10
1929
原创 使用Python爬取上交所问询函并查询相关股票发函日股价
目录前言准备工作json包的抓取获取其他页数的数据查询股价接口代码编写遍历爬取所有问询函查询被发函公司发函日(第T日)后3天的股价导出与导入导出导入前言最近实习需要做一些关于问询函的研究，但手工整理相关信息实在太慢，于是想用爬虫一步到位。准备工作json包的抓取上交所和深交所官网都有便捷的问询函列表页面供访客查看，也有友好的json数据包供我们抓取????????????很常规的json数据，我们只需要进行普通的解析工作就OK了~获取其他页数的数据观察json数据的地址：http://qu
2020-07-31 16:20:43
2521
2
原创 Andriod Studio中通过调用百度地图API实现对地图的调用及定位
目录前言项目源码项目流程项目部分代码项目心得前言在项目中根据百度地图官方文档实现了对百度地图的调用及定位功能。项目源码已上传至gitee项目流程根据百度地图开放平台，获取开发密钥(AK)，并在AndroidManifest.xml文件中进行相关配置。在获取项目SHA1码时，可直接利用gradle获取：点击AS右侧的Gradle→ app→ Taks→andriod→双击signing Report即可获取SHA1码。显示地图根据官方文档对地图进行一些显示设置。显示定位显示定位之前，
2020-05-25 13:17:31
614
原创 Python实现对Bilibili视频点赞等信息的爬取
目录前言功能描述功能实现相关资料前言最近研究python的爬虫过程中，尝试学习了调用bilibili的各种api，可以爬取视频的信息、弹幕等，也可以爬取up主的基本信息等，故写博客记录爬取视频信息的方法。功能描述使用python的request库和json库实现对bilibili网站中视频av号、bv号、收藏数、投币数、点赞数等信息的爬取。功能实现import requestsimport jsonimport csvimport pandas as pd# 爬虫地址alphabet
2020-05-20 10:49:24
6166
12
原创 类微信界面中实现对手机通讯录的添加操作
目录前言简易微信界面项目项目参考项目源码项目编写布局文件联系人权限获取contactFragmentMainActivity项目心得前言在之前搭建的简易微信界面的基础上，实现了将手机通讯录通过RecyclerView进行调用并展示到联系人的fragment中，并点击右上角加号实现添加联系人，并传值到手机通讯录中。简易微信界面项目已发布至CSDN博客项目参考 第7章实验 SQLite数据...
2020-05-06 22:31:46
954
原创 SQLite数据库的DAO标准CRUD操作
目录前言项目参考项目源码代码编写页面布局新建DBHelper新建DAO类MainActivity项目心得前言通过实例实现了SQLite的DAO操作。在实例中可以通过点击相关按钮实现对数据的查询、修改、增加、删除。项目参考第7章实验 SQLite数据库编程项目源码已发布至gitee代码编写页面布局<?xml version="1.0" encoding="utf-8"?&...
2020-05-06 22:06:14
270
原创 利用Broadcast及相关组件实现简易音乐播放器功能
目录前言项目源码准备工作代码编写页面布局Service类的创建主函数的编写项目心得前言在Andriod Studio中使用Broadcast实现了简易音乐播放器的功能。可以进行播放、暂停、歌曲切换的功能。效果如下图：由于无法上传视频，故展示GIF，没有音乐播放项目源码已发布至gitee准备工作新建assets文件夹，用于存放音乐资源文件代码编写页面布局<?xml vers...
2020-04-14 15:25:00
565
原创 利用RecyclerView在Fragment中实现瀑布流
目录前言准备工作Layout文件的构建JAVA程序的编写新建Peaky类Adapter适配器修改WechatFragment项目心得前言上周通过Android开发中的fragment实现了简易微信界面的搭建，本周将在其基础上在fragment中进行RecyclerView的布局，并将RecyclerView设置为瀑布流的形式进行照片展示。效果如下图：项目源码已更新准备工作在build...
2020-03-25 11:38:00
1304
1
原创 Android简易微信界面
Android简易微信界面专选课移动互联网开发的第一次作业，利用Android Studio进行了简易Android微信界面的搭建完整项目代码界面样式展示：界面xml源码主界面xml源码<?xml version="1.0" encoding="utf-8"?><LinearLayout xmlns:android="http://schemas.andro...
2020-03-25 10:19:36
1774
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人