- 博客(15)
- 收藏
- 关注
RSS订阅原创 【Learning Docker - 01】Using Amazon ECR with the AWS CL
安裝好 AWS CLI後，需要進行Auth驗證，才能用docker command push/ pull images with AWS ECR.實現用AWS ECR管理images，並使用AWS ECS呼叫存於ECR的images。
2023-07-19 02:01:38
101
原创 Scrapy教程 - (2)寫一個簡單爬蟲
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2022-04-23 19:08:51
610
原创 Git 學習紀錄(1)
Git 學習紀錄(1) TL: DR; Git 是一个開源的分布式版本控制系统，用于敏捷高效地處理任何項目。 其主要操作流程如下圖: workspace: 工作區 staging area: 暫存區 local repository: 本地倉庫 remote repository: 遠端倉庫 (eg. Github/Gitee…) 接著示範一個基本操作 初始化 git init 新增file到暫存區 // 新增檔案 git add <file_name> //新增全部檔案 git add
2022-04-21 17:43:27
300
原创 Scrapy教程 - (1) 安裝與創建專案
Scrapy教程 - (1) 安裝與創建專案 以Scrapy教程紀錄一下近期的學習，以便複習。使用環境為win + anaconda 安裝Scrapy 如沒有創建虛擬環境，可用以下語法創建 //env_name 虛擬環境名稱 conda create --name env_name python==3.9 //並用以下語法啟用環境 conda activate env_name //如要跳出該虛擬環境 conda deactivate env_name 啟用虛擬環境後，在anaconda下可以使用 /
2022-03-20 18:17:55
1012
原创 Vim改變編輯器主題
Vim改變編輯器主題vim 原始顏色如何變更主題參考資料**後記: 祝所有程序員 1024程序員日快樂** vim 原始顏色 在Ubuntu使用vim編輯器時，預設的註解顏色是深藍色，在全黑的畫面上看起來顯得很吃力，若在光線較為昏暗的空間亦是如此。(看得眼都要瞎了xd) 如何變更主題 首先找一個你喜歡的主題檔案(onehalfdark.vim)，這可以在vim官網下載即可。 將.vim檔案上傳至終端機 將onehalfdark.vim move 至 /usr/share/vim/vim80/c
2021-10-24 17:08:07
109
原创 ec2 monogdb & selenium configuration
ec2上安裝mongodb server 參照官方文檔，主要4步驟： wget -qO - https://www.mongodb.org/static/pgp/server-4.4.asc | sudo apt-key add - echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu bionic/mongodb-org/4.4 multiverse" | sudo tee /etc/apt/sources.list.d/mo
2021-09-25 16:18:47
90
原创 Ubuntu利用crontab定期執行scrapy spider
Ubuntu利用crontab定期執行scrapy spider安裝scrapyscrapy爬蟲 & shell撰寫crontab排程參考資料 安裝scrapy pip3 install scrapy #安裝scrapy 並將scrapy安裝在虛擬環境中，避免package之間互相排擠 scrapy爬蟲 & shell撰寫 在專案資料夾中執行: scrapy crawl your_project_name # 開始執行 確認以上爬蟲和以下執行shell都可以正常運作之後 #!/bin/b
2021-08-27 16:09:38
135
原创 Ubuntu 18.04 建立虛擬環境
安裝相關packages ubuntu 18.04有內建python3，可以不自行安裝。透過下列指令安裝pip和virtualenv sudo apt-get install python3-pip //安裝pip sudo pip3 install virtualenv //安裝virtualenv 建立虛擬環境 mkdir your_project_directory //建立專案資料夾 cd your_project_directory virtualenv your_project_na
2021-08-17 13:43:58
90
原创 Ubuntu Server 編碼設定
問題 安裝ubuntu，chrome, selenium後，想要執行爬蟲程序，發現字體全變框框，於是開始搜尋ubuntu的編碼設定。基本預設可用以下語法查看，沒意外的話應是en.UTF-8。 locale -a 安裝中文 $ sudo apt-get install language-pack-zh* $ sudo apt-get install chinese* 安裝韓文 $ sudo apt-get install language-pack-ko* $ sudo apt-get install k
2021-08-11 01:17:57
111
原创 MongoDB dump & restore使用
實現 將本地端mongodb server的數據進行打包，上傳至AWS ec2的mongodb server 使用 local：win10 ec2：ubuntu18.04 mongodb(local & cloud)：4.4 流程 本地端打包 "C:\Program Files\MongoDB\Server\4.2\bin\mongodump.exe" -d data -c sns -o C:\sns.json -雙括號內的是default mongodump location -d : <
2021-07-27 19:15:14
147
原创 Python爬蟲實戰項目 - QQ音樂韓國榜
項目來由 相信很多人都很喜歡聽音樂，也有自己喜歡的藝人，而我也是如此。但我無法時時人眼監測QQ音樂榜的變化，因此想實作一個web scraping項目， 幫助我事半功倍地蒐集資料。 項目紀錄 目標網址：https://i.y.qq.com/n2/m/share/details/toplist.html?ADTAG=newyqq.toplist&type=0&id=16 (*註：因為電腦版只能看到韓國榜的top 20，須將頁面調整為手機板，即可順利爬取) 欲達成目標 - 蒐集QQ
2021-07-17 18:25:45
83
原创 Text Preprocessing Method Using ML - Social media Example
Text Preprocessing MethodWhy we need to preprocess text?General Text PreprocessEmojiPunctuations縮寫語/網路用語Stop words/高頻詞&低頻詞Conclusion Why we need to preprocess text? 在現實世界中取得的數據非常凌亂，因此在使用機器學習處理NLP問題前，首先需要將數據進行適當處理，才能過濾有效資料。 然而在文字預處理同時，也會做feature enginee
2021-07-15 23:37:10
117
4
原创 在AWS EC2安裝MongoDB Server
啟動新實例: AWS EC2 Ubuntu 點選Launch Instance 選擇AMI (Ubuntu 18.04) 選擇Instance type後，接續步驟按自行需求調整 點選add rule，==新增自定義TCP: PORT Range: 27017(MongoDB使用), Source: (Custom) 0.0.0.0/0 (此為IPV4) (若用::/0 為IPV6)。==點選Review & Launch 完成實例的新增。 Instance相關設定 點選
2021-07-07 18:17:43
394
原创 Vue踩坑紀錄
Vue踩坑紀錄- axios 數據獲取 項目使用套件 前端: Vue, Vuetify 後端: Flask, Flask-cors 資料庫: MongoDB 前後通訊: axios flask代碼 @app.route("/dashboard", methods= ['GET']) def key_index(): key_index = db.sns.find({},{"_id":0}).sort([("datetime", -1)]) return dumps(key_
2021-01-22 17:47:03
73
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人