- 博客(15)
- 收藏
- 关注
RSS订阅原创 【Learning Docker - 01】Using Amazon ECR with the AWS CL
安裝好 AWS CLI後，需要進行Auth驗證，才能用docker command push/ pull images with AWS ECR.實現用AWS ECR管理images，並使用AWS ECS呼叫存於ECR的images。
2023-07-19 02:01:38
81
原创 Scrapy教程 - (2)寫一個簡單爬蟲
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2022-04-23 19:08:51
592
原创 Git 學習紀錄(1)
Git 學習紀錄(1)TL: DR;Git 是一个開源的分布式版本控制系统，用于敏捷高效地處理任何項目。其主要操作流程如下圖:workspace: 工作區staging area: 暫存區local repository: 本地倉庫remote repository: 遠端倉庫 (eg. Github/Gitee…)接著示範一個基本操作初始化git init新增file到暫存區// 新增檔案git add <file_name>//新增全部檔案git add
2022-04-21 17:43:27
285
原创 Scrapy教程 - (1) 安裝與創建專案
Scrapy教程 - (1) 安裝與創建專案以Scrapy教程紀錄一下近期的學習，以便複習。使用環境為win + anaconda安裝Scrapy如沒有創建虛擬環境，可用以下語法創建//env_name 虛擬環境名稱conda create --name env_name python==3.9//並用以下語法啟用環境conda activate env_name//如要跳出該虛擬環境conda deactivate env_name啟用虛擬環境後，在anaconda下可以使用/
2022-03-20 18:17:55
991
原创 Vim改變編輯器主題
Vim改變編輯器主題vim 原始顏色如何變更主題參考資料**後記: 祝所有程序員 1024程序員日快樂**vim 原始顏色在Ubuntu使用vim編輯器時，預設的註解顏色是深藍色，在全黑的畫面上看起來顯得很吃力，若在光線較為昏暗的空間亦是如此。(看得眼都要瞎了xd)如何變更主題首先找一個你喜歡的主題檔案(onehalfdark.vim)，這可以在vim官網下載即可。將.vim檔案上傳至終端機將onehalfdark.vim move 至 /usr/share/vim/vim80/c
2021-10-24 17:08:07
88
原创 ec2 monogdb & selenium configuration
ec2上安裝mongodb server參照官方文檔，主要4步驟：wget -qO - https://www.mongodb.org/static/pgp/server-4.4.asc | sudo apt-key add -echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu bionic/mongodb-org/4.4 multiverse" | sudo tee /etc/apt/sources.list.d/mo
2021-09-25 16:18:47
74
原创 Ubuntu利用crontab定期執行scrapy spider
Ubuntu利用crontab定期執行scrapy spider安裝scrapyscrapy爬蟲 & shell撰寫crontab排程參考資料安裝scrapypip3 install scrapy #安裝scrapy並將scrapy安裝在虛擬環境中，避免package之間互相排擠scrapy爬蟲 & shell撰寫在專案資料夾中執行:scrapy crawl your_project_name # 開始執行確認以上爬蟲和以下執行shell都可以正常運作之後#!/bin/b
2021-08-27 16:09:38
124
原创 Ubuntu 18.04 建立虛擬環境
安裝相關packagesubuntu 18.04有內建python3，可以不自行安裝。透過下列指令安裝pip和virtualenvsudo apt-get install python3-pip //安裝pipsudo pip3 install virtualenv //安裝virtualenv建立虛擬環境mkdir your_project_directory //建立專案資料夾cd your_project_directoryvirtualenv your_project_na
2021-08-17 13:43:58
64
原创 Ubuntu Server 編碼設定
問題安裝ubuntu，chrome, selenium後，想要執行爬蟲程序，發現字體全變框框，於是開始搜尋ubuntu的編碼設定。基本預設可用以下語法查看，沒意外的話應是en.UTF-8。locale -a安裝中文$ sudo apt-get install language-pack-zh*$ sudo apt-get install chinese*安裝韓文$ sudo apt-get install language-pack-ko*$ sudo apt-get install k
2021-08-11 01:17:57
92
原创 MongoDB dump & restore使用
實現將本地端mongodb server的數據進行打包，上傳至AWS ec2的mongodb server使用local：win10ec2：ubuntu18.04mongodb(local & cloud)：4.4流程本地端打包"C:\Program Files\MongoDB\Server\4.2\bin\mongodump.exe" -d data -c sns -o C:\sns.json-雙括號內的是default mongodump location-d : <
2021-07-27 19:15:14
127
原创 Python爬蟲實戰項目 - QQ音樂韓國榜
項目來由相信很多人都很喜歡聽音樂，也有自己喜歡的藝人，而我也是如此。但我無法時時人眼監測QQ音樂榜的變化，因此想實作一個web scraping項目， 幫助我事半功倍地蒐集資料。 項目紀錄目標網址：https://i.y.qq.com/n2/m/share/details/toplist.html?ADTAG=newyqq.toplist&type=0&id=16(*註：因為電腦版只能看到韓國榜的top 20，須將頁面調整為手機板，即可順利爬取)欲達成目標- 蒐集QQ
2021-07-17 18:25:45
71
原创 Text Preprocessing Method Using ML - Social media Example
Text Preprocessing MethodWhy we need to preprocess text?General Text PreprocessEmojiPunctuations縮寫語/網路用語Stop words/高頻詞&低頻詞ConclusionWhy we need to preprocess text?在現實世界中取得的數據非常凌亂，因此在使用機器學習處理NLP問題前，首先需要將數據進行適當處理，才能過濾有效資料。然而在文字預處理同時，也會做feature enginee
2021-07-15 23:37:10
103
4
原创 在AWS EC2安裝MongoDB Server
啟動新實例: AWS EC2 Ubuntu點選Launch Instance選擇AMI (Ubuntu 18.04)選擇Instance type後，接續步驟按自行需求調整點選add rule，==新增自定義TCP: PORT Range: 27017(MongoDB使用), Source: (Custom) 0.0.0.0/0 (此為IPV4) (若用::/0 為IPV6)。==點選Review & Launch 完成實例的新增。 Instance相關設定點選
2021-07-07 18:17:43
356
原创 Vue踩坑紀錄
Vue踩坑紀錄- axios 數據獲取項目使用套件前端: Vue, Vuetify後端: Flask, Flask-cors資料庫: MongoDB前後通訊: axiosflask代碼@app.route("/dashboard", methods= ['GET'])def key_index(): key_index = db.sns.find({},{"_id":0}).sort([("datetime", -1)]) return dumps(key_
2021-01-22 17:47:03
61
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人